beautifulsoup4 y lxml

BeautifulSoup analiza HTML/XML desordenado en un árbol navegable: etiquetas, atributos, búsqueda de texto. Combínalo con lxml como backend del analizador para obtener velocidad y XPath cuando los documentos crecen o se vuelven malformados.

Receta

from bs4 import BeautifulSoup
 
html = '<div class="item"><a href="/p/1">Widget</a><span class="price">$9</span></div>'
soup = BeautifulSoup(html, "lxml")
for item in soup.select(".item"):
    name = item.find("a").get_text(strip=True)
    price = item.find(class_="price").get_text(strip=True)
    print(name, price)

Cuándo usar esto:

• Extracción de datos de exportaciones HTML o portales heredados sin API
• Limpieza de HTML de CMS antes de su almacenamiento o visualización
• Análisis de respuestas XML RSS/Atom o SOAP
• Fixtures de prueba que capturan fragmentos de HTML

Ejemplo de Trabajo

from __future__ import annotations
 
from dataclasses import dataclass
 
import httpx
from bs4 import BeautifulSoup
 
 
@dataclass
class Product:
    sku: str
    title: str
    price: str
 
 
def parse_catalog(html: str) -> list[Product]:
    soup = BeautifulSoup(html, "lxml")
    products: list[Product] = []
    for card in soup.select("article.product"):
        sku = card.get("data-sku")
        title_el = card.select_one("h2.title")
        price_el = card.select_one("span.price")
        if not sku or not title_el or not price_el:
            continue
        products.append(
            Product(
                sku=sku,
                title=title_el.get_text(strip=True),
                price=price_el.get_text(strip=True),
            )
        )
    return products
 
 
def fetch_catalog(url: str) -> list[Product]:
    with httpx.Client(timeout=10.0, headers={"User-Agent": "catalog-bot/1.0"}) as client:
        response = client.get(url)
        response.raise_for_status()
        return parse_catalog(response.text)
 
 
if __name__ == "__main__":
    sample = """
    <article class="product" data-sku="W1">
      <h2 class="title">Widget</h2><span class="price">$9.00</span>
    </article>
    """
    print(parse_catalog(sample))

Lo que esto demuestra:

• Selectores CSS a través de select / select_one
• Análisis defensivo cuando faltan nodos
• get_text(strip=True) para texto normalizado
• Separación de la obtención HTTP de la lógica de análisis para pruebas

Inmersión Profunda

Cómo Funciona

• Backends de análisis - html.parser (stdlib), lxml (C rápido), html5lib (el más permisivo).
• Navegación - .parent, .next_sibling, .find, .find_all, .select (CSS).
• XPath de lxml - tree.xpath("//div[@class='item']") cuando CSS es incómodo.
• Codificación - BeautifulSoup detecta la codificación de las etiquetas meta; pasa from_encoding cuando sea incorrecto.

Elección del Analizador

Notas de Python

# Analizar XML con lxml directamente para esquemas estrictos
from lxml import etree
 
root = etree.fromstring(xml_bytes)
for node in root.xpath("//item[@id]"):
    print(node.get("id"), node.text)

Trampas Comunes

• Scraping sin permiso - Riesgo legal y de Términos de Servicio. Solución: usar API oficiales; limitar las solicitudes.
• Selectores frágiles - Las clases CSS cambian en el rediseño. Solución: preferir atributos data-*; pruebas de contrato sobre fixtures de HTML.
• No manejar paginación - Conjuntos de datos incompletos. Solución: seguir rel=next o el cursor de la API.
• Ejecutar scripts extraídos - XSS si se vuelve a mostrar HTML sin procesar. Solución: extraer solo texto o sanitizar con bleach.
• Memoria en páginas enormes - Cargar 50 MB de HTML. Solución: análisis en streaming con lxml iterparse.
• Zona horaria en fechas extraídas - Cadenas ambiguas. Solución: analizar a UTC en el límite de extracción.

Alternativas

Preguntas Frecuentes

Relacionado

• httpx y requests - obtención de HTML
• re - Expresiones Regulares - limpieza de texto después del análisis
• Habilidad de Pipeline de Datos - ETL desde fuentes web
• Validación de Entrada - sanitización de contenido

Versiones de Stack: Esta página fue escrita para Python 3.14.0 (estable 3.14, mantenimiento 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, y uv 0.6+.