dbt con Python

dbt gestiona las transformaciones del almacén de datos como modelos versionados, principalmente en SQL, con modelos de Python donde los adaptadores permiten lógica estilo pandas/polars en el tiempo de ejecución del almacén.

Receta

Tarjeta de receta de referencia rápida, lista para copiar y pegar.

# models/staging/stg_orders.sql
select
  order_id,
  cast(revenue as double) as revenue,
  region,
  ordered_at
from {{ source('raw', 'orders') }}
where order_id is not null

# models/marts/revenue_by_region.py (modelo Python de dbt)
def model(dbt, session):
    df = dbt.ref("stg_orders").to_pandas()
    return df.groupby("region", observed=True)["revenue"].sum().reset_index()

Cuándo usar esto:

• Transformaciones analíticas propiedad de los equipos de datos en SQL
• Necesidad de pruebas, documentación y linaje en tablas del almacén de datos
• Python solo para características estadísticas/ML que SQL no puede expresar limpiamente
• CI ejecuta dbt build en cada PR

Ejemplo de Trabajo

-- models/staging/stg_orders.sql
with source as (
    select * from {{ source('ecommerce', 'orders') }}
),
cleaned as (
    select
        order_id,
        upper(trim(region)) as region,
        cast(revenue as numeric(18, 2)) as revenue,
        ordered_at::timestamp_tz as ordered_at
    from source
    where revenue >= 0
)
select * from cleaned

# models/staging/schema.yml
models:
  - name: stg_orders
    columns:
      - name: order_id
        tests: [unique, not_null]
      - name: revenue
        tests:
          - not_null
          - dbt_expectations.expect_column_values_to_be_between:
              min_value: 0

-- models/marts/fct_revenue_daily.sql
select
    date_trunc('day', ordered_at) as revenue_date,
    region,
    sum(revenue) as total_revenue,
    count(*) as order_count
from {{ ref('stg_orders') }}
group by 1, 2

Lo que esto demuestra:

• Grafo de dependencias source y ref
• Limpieza de staging en SQL cerca del motor del almacén de datos
• Pruebas YAML en claves y límites de ingresos
• Agregación de mart como modelo descendente

Profundización

Cómo Funciona

• dbt compila Jinja SQL, ejecuta materializaciones (view, table, incremental).
• DAG desde ref() - dbt build ejecuta pruebas después de construir modelos.
• Los modelos de Python delegan al tiempo de ejecución del adaptador (Snowflake Snowpark, BigQuery, etc.).
• Artefactos: manifest.json, catalog.json para herramientas de linaje.

Estratificación

Notas de Python

# Mantén los modelos de Python delgados - la mayor parte del trabajo pesado todavía pertenece a SQL cuando es posible
def model(dbt, session):
    import pandas as pd
    orders = dbt.ref("stg_orders")
    pdf = orders.to_pandas() if hasattr(orders, "to_pandas") else orders
    # ingeniería de características...
    return pdf

Errores Comunes

• Modelo Python en adaptador incorrecto - no todos los almacenes de datos soportan modelos de Python. Solución: consultar la documentación del adaptador; recurrir a UDF de SQL.
• Lógica duplicada en herramientas de BI - las métricas divergen de los marts de dbt. Solución: exponer los granos en los marts; la BI solo visualiza.
• Omitir pruebas en staging - las claves incorrectas se propagan. Solución: unique/not_null como mínimo en las claves primarias.
• Refresco completo incremental por error - reconstrucción costosa. Solución: documentar incremental_strategy y claves únicas.
• Nombres de base de datos codificados - falla entre entornos. Solución: los perfiles target de desarrollo/producción a través de variables de entorno.

Alternativas

Preguntas Frecuentes

dbt debug && dbt build --select stg_orders+

tests:
  - relationships:
      to: ref('dim_customers')
      field: customer_id

Relacionado

• Validación y Calidad de Datos - pruebas de expectativas
• Formatos de Archivo - tablas externas en Parquet
• Fundamentos de Ingeniería de Datos - ciclo de vida ETL
• PySpark - alternativa a escala de clúster

Versiones de Stack: Esta página fue escrita para Python 3.14.0 (estable 3.14, mantenimiento 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, y uv 0.6+.