Data & Model Versioning (DVC)

O DVC versiona grandes conjuntos de dados e artefatos de modelo junto com o código git. Estágios de pipeline criam DAGs reproduzíveis que reexecutam apenas quando as entradas mudam.

Receita

dvc init
dvc add data/train.csv
git add data/train.csv.dvc .gitignore
dvc push  # envia para o armazenamento remoto
dvc pull  # baixa em outra máquina

Exemplo de Trabalho

# dvc.yaml
stages:
  prepare:
    cmd: python src/prepare.py data/raw data/prepared
    deps:
      - src/prepare.py
      - data/raw
    outs:
      - data/prepared/train.csv
  train:
    cmd: python src/train.py data/prepared/train.csv models/model.joblib
    deps:
      - src/train.py
      - data/prepared/train.csv
    outs:
      - models/model.joblib
    metrics:
      - metrics.json

dvc repro train    # executa o pipeline, pula estágios inalterados
dvc metrics show   # compara métricas entre branches git

Armadilhas

• Commitar arquivos grandes no git - incha o repositório. Correção: dvc add + armazenamento remoto.
• Não configurar o remoto - os dados permanecem apenas locais. Correção: dvc remote add -d storage s3://bucket/dvc.
• Etapas manuais do pipeline - não reproduzíveis. Correção: definir estágios em dvc.yaml.

Alternativas

FAQs

Relacionados

• Experiment Tracking
• Model Registries & Versioning
• MLOps Best Practices
• Git
• Machine Learning Best Practices

Versões da Stack: Esta página foi escrita para Python 3.14.0 (estável 3.14, manutenção 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, e uv 0.6+.