Boas Práticas de Engenharia de Dados

Pipelines testáveis, observáveis e reproduzíveis que sobrevivem a retentativas, desvios de esquema e noites de plantão.

Como Usar Esta Lista

• Aplique as seções A-D ao projetar um novo DAG, fluxo ou ativo.
• Use como checklist de PR para qualquer alteração que toque em ingestão, transformações ou marts.
• Combine com Confiabilidade de Fluxo de Trabalho quando ocorrerem incidentes.

A - Data Lake & Armazenamento

• Camada raw é somente anexável. Novos dados chegam em partições datadas; nunca modifique arquivos raw históricos.
• Parquet com zstd para camadas de análise. Incorpore o esquema; evite marts CSV.
• Particione por chave lógica de lote. dt= ou run_id= permite sobrescrita idempotente.
• Arquivos de tamanho adequado. Compacte pequenos fragmentos para objetos de ~128-512 MB.
• Armazene timestamps em UTC. Documente o fuso horário de exibição separadamente.

B - Código & Testes

• Funções puras para lógica de transformação. Teste com pytest e tmp_path Parquet sem orquestrador.
• Fixe dependências com arquivos uv lock. Versões de pandas 2.2+, Polars 1.x, pyarrow correspondem ao CI e à produção.
• Testes de esquema em chaves e intervalos. Pandera ou testes dbt bloqueiam lotes ruins.
• Sem trabalho pesado no tempo de análise do DAG. Importações e I/O apenas dentro das tarefas.
• Passe URIs, não DataFrames, no estado do orquestrador. O armazenamento XCom/metadados não é um data lake.

C - Operações & Confiabilidade

• Registre run_id, partição, input_rows, output_rows, duration. JSON estruturado para busca.
• Retentativas apenas com idempotência. Sobrescrita de partição ou chaves de mesclagem - consulte o guia de fluxo de trabalho.
• Alerta sobre falha final e perda de SLA. Não toda retentativa transitória.
• DLQ ou quarentena para eventos venenosos. Falhas de esquema exportam diagnósticos em nível de linha de forma segura.
• Documente o procedimento de backfill. Inclua max_active_runs e portões de validação.

D - Governança & Handoff

• Modelos em camadas: staging, intermediate, mart. Consumidores leem apenas os marts.
• PII rotulada e minimizada precocemente. Hash no staging; restrinja o acesso à quarentena.
• Linha de dados no git. Manifest dbt, repositório DAG, ou gráfico de ativos Dagster - uma única fonte de verdade.
• Contratos de dados com produtores. Avisos de alteração de volume e esquema antes do deploy.
• Postmortems atualizam esta checklist. Adicione regras quando incidentes revelarem lacunas.

FAQs

uv sync && pytest && ruff check . && python -m jobs.daily_orders --dry-run

Relacionado

• Noções Básicas de Engenharia de Dados - introdução ao ciclo de vida
• Confiabilidade de Fluxo de Trabalho - fluxo de trabalho de idempotência
• Validação e Qualidade de Dados - portões de esquema
• Formatos de Arquivo - layout Parquet
• Boas Práticas de Análise de Dados - hábitos de análise upstream

Versões da Stack: Esta página foi escrita para Python 3.14.0 (estável 3.14, manutenção 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, e uv 0.6+.