Validación y Calidad de Datos

Las comprobaciones de esquemas y estadísticas en los límites de la canalización detectan ingestas incorrectas antes de que contaminen los marts: Pandera para DataFrames de Python, Great Expectations para contratos de datos documentados.

Receta

Tarjeta de receta de referencia rápida, lista para copiar y pegar.

import pandera.pandas as pa
 
schema = pa.DataFrameSchema({
    "order_id": pa.Column(int, unique=True, nullable=False),
    "revenue": pa.Column(float, pa.Check.ge(0)),
    "region": pa.Column(str, pa.Check.isin(["East", "West", "Central"])),
})
 
def validate_orders(df):
    return schema.validate(df, lazy=True)

Cuándo usar esto:

• Cada etapa de ETL antes de las escrituras de sobrescritura
• Pruebas de CI en muestras fijas de Parquet
• Paneles de SLA sobre frescura y volumen
• Datos regulatorios o financieros que requieren un rastro de auditoría

Ejemplo de Trabajo

import pandas as pd
import pandera.pandas as pa
from pandera import Check, Column, DataFrameSchema
 
orders_schema = DataFrameSchema(
    {
        "order_id": Column(int, unique=True, nullable=False),
        "revenue": Column(float, checks=Check.ge(0)),
        "region": Column(str, checks=Check.isin(["East", "West", "Central"])),
        "ordered_at": Column("datetime64[ns, UTC]", nullable=False),
    },
    strict=False,
    coerce=True,
)
 
def load_orders(path: str) -> pd.DataFrame:
    df = pd.read_parquet(path)
    try:
        return orders_schema.validate(df, lazy=True)
    except pa.errors.SchemaErrors as err:
        # Poner en cuarentena las filas incorrectas para su inspección
        failure_cases = err.failure_cases
        failure_cases.to_csv("quarantine/schema_failures.csv", index=False)
        raise
 
# Comprobación estilo Great Expectations (API conceptual de GE)
def gx_style_checks(df: pd.DataFrame) -> None:
    assert len(df) > 0, "lote vacío"
    assert df["order_id"].is_unique.all()
    assert df["revenue"].between(0, 1_000_000).mean() > 0.99

Lo que esto demuestra:

• Esquema Pandera con गोष्ट (coerción) y reporte de múltiples errores en modo diferido (lazy)
• Artefacto de cuarentena en caso de fallo
• Asertos ligeros que complementan esquemas formales
• Tipado de columna datetime UTC

Inmersión Profunda

Cómo Funciona

• Pandera valida la forma del DataFrame, los dtypes y las comprobaciones personalizadas en Python.
• Great Expectations almacena Expectation Suites, valida lotes, genera Data Docs.
• Fallar cerrado: la tarea del orquestador no debe promocionar el mart en caso de error de validación.
• Combinar esquema (estructura) con comprobaciones de anomalías (volumen, tasa de nulos).

Tipos de Comprobación

Notas de Python

# Polars con pandera.polars
import polars as pl
import pandera.polars as pa
 
schema = pa.DataFrameSchema({"id": pa.Column(int)})
schema.validate(pl.DataFrame({"id": [1, 2]}))

Trampas Comunes

• Validar solo en notebook - la producción omite las comprobaciones. Solución: llamar al validador en @task antes de escribir.
• lazy=False en esquemas amplios - se detiene en el primer error. Solución: lazy=True para un informe completo de fallos.
• Recuentos de filas exactos frágiles - inestables con tráfico real. Solución: comprobaciones de rango frente al promedio móvil.
• Fallos solo de advertencia - los datos incorrectos aún se envían. Solución: lanzar y bloquear sensores descendentes.
• Deriva del esquema sin versión - el despliegue falla silenciosamente. Solución: etiquetar versiones del esquema con git junto con el código de la canalización.

Alternativas

Preguntas Frecuentes

import pytest
import pandera.errors
 
def test_rejects_negative_revenue(bad_df):
    with pytest.raises(pandera.errors.SchemaError):
        orders_schema.validate(bad_df)

Relacionado

• Limpieza y Transformación de Datos - correcciones antes de validar
• dbt con Python - pruebas en el almacén de datos
• Mejores Prácticas de Ingeniería de Datos - puertas de calidad
• Fiabilidad del Flujo de Trabajo - fallar vs reintentar

Versiones de la Pila: Esta página fue escrita para Python 3.14.0 (estable 3.14, mantenimiento 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, y uv 0.6+.