Rastreamento de Experimentos

Q: MLflow local vs servidor?

mlflow ui para local; servidor de rastreamento para compartilhamento em equipe.

Q: Configuração W&B?

wandb.init(project="...") então wandb.log({"f1": 0.9}).

Q: Registrar artefatos?

mlflow.log_artifact("confusion_matrix.png").

Q: Auto-registro?

mlflow.sklearn.autolog() registra parâmetros/métricas automaticamente.

O rastreamento de experimentos registra parâmetros, métricas e artefatos para cada execução de treinamento. MLflow e Weights & Biases são as ferramentas padrão para comparar execuções e reproduzir resultados.

Receita

import mlflow
 
with mlflow.start_run(run_name="rf_baseline"):
    mlflow.log_params({"n_estimators": 100, "max_depth": 10})
    mlflow.log_metric("f1", 0.87)
    mlflow.sklearn.log_model(model, "model")

Exemplo de Trabalho

"""experiment_tracking.py - Rastreamento MLflow com sklearn."""
from __future__ import annotations
 
import mlflow
import mlflow.sklearn
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score, train_test_split
 
mlflow.set_experiment("breast-cancer-classification")
 
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
for n_est in [50, 100, 200]:
    with mlflow.start_run(run_name=f"rf_{n_est}"):
        clf = RandomForestClassifier(n_estimators=n_est, random_state=42)
        cv_scores = cross_val_score(clf, X_train, y_train, cv=5, scoring="f1")
        clf.fit(X_train, y_train)
        test_f1 = cross_val_score(clf, X_test, y_test, cv="prefit", scoring="f1")[0]
 
        mlflow.log_param("n_estimators", n_est)
        mlflow.log_metric("cv_f1_mean", cv_scores.mean())
        mlflow.log_metric("test_f1", test_f1)
        mlflow.sklearn.log_model(clf, artifact_path="model",
                                 registered_model_name="breast-cancer-rf")
        print(f"n={n_est} cv_f1={cv_scores.mean():.3f} test_f1={test_f1:.3f}")

Armadilhas

Não registrar a versão dos dados - impossível reproduzir execuções. Correção: registrar hash dos dados ou revisão DVC.
Registrar em notebooks sem contexto de execução - métricas órfãs. Correção: with mlflow.start_run() em scripts.
Muitas execuções sem nome - impossível comparar. Correção: run_name e tags.

Alternativas

Alternativa	Usar Quando	Não Usar Quando
MLflow	ML Geral, auto-hospedado	Precisa de UI de colaboração integrada
W&B	Dashboards de equipe, deep learning	Configuração local mínima
TensorBoard	Curvas de treinamento PyTorch	Experimentos não-deep-learning
Log CSV	Experimentos pessoais rápidos	Colaboração em equipe

FAQs

MLflow local vs servidor?

`mlflow ui` para local; servidor de rastreamento para compartilhamento em equipe.

Como comparar execuções?

Aba Experimentos da UI do MLflow; ordenar por métrica.

O que registrar?

Parâmetros, métricas, artefato do modelo, hash dos dados, commit git, versões de bibliotecas.

Configuração W&B?

`wandb.init(project="...")` então `wandb.log({"f1": 0.9})`.

Registrar artefatos?

`mlflow.log_artifact("confusion_matrix.png")`.

Execuções aninhadas?

Busca de hiperparâmetros com execuções pai/filho no MLflow.

Auto-registro?

`mlflow.sklearn.autolog()` registra parâmetros/métricas automaticamente.

Por quanto tempo manter execuções?

Definir política de retenção; arquivar experimentos antigos.

Rastrear uso de GPU?

Registrar como parâmetro; W&B rastreia métricas do sistema automaticamente.

Integração CI?

Registrar métricas de avaliação de execuções de treinamento em CI para detecção de regressão.

Múltiplos experimentos?

`mlflow.set_experiment("nome")` separa execuções do projeto.

Reproduzir uma execução?

Carregar parâmetros registrados, versão dos dados e seed dos metadados da execução.

Relacionados

Versões da Stack: Esta página foi escrita para Python 3.14.0 (estável 3.14, manutenção 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, e uv 0.6+.

Receita

import mlflow
 
with mlflow.start_run(run_name="rf_baseline"):
    mlflow.log_params({"n_estimators": 100, "max_depth": 10})
    mlflow.log_metric("f1", 0.87)
    mlflow.sklearn.log_model(model, "model")

Exemplo de Trabalho

"""experiment_tracking.py - Rastreamento MLflow com sklearn."""
from __future__ import annotations
 
import mlflow
import mlflow.sklearn
from sklearn.datasets import load_breast_cancer
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score, train_test_split
 
mlflow.set_experiment("breast-cancer-classification")
 
X, y = load_breast_cancer(return_X_y=True)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
 
for n_est in [50, 100, 200]:
    with mlflow.start_run(run_name=f"rf_{n_est}"):
        clf = RandomForestClassifier(n_estimators=n_est, random_state=42)
        cv_scores = cross_val_score(clf, X_train, y_train, cv=5, scoring="f1")
        clf.fit(X_train, y_train)
        test_f1 = cross_val_score(clf, X_test, y_test, cv="prefit", scoring="f1")[0]
 
        mlflow.log_param("n_estimators", n_est)
        mlflow.log_metric("cv_f1_mean", cv_scores.mean())
        mlflow.log_metric("test_f1", test_f1)
        mlflow.sklearn.log_model(clf, artifact_path="model",
                                 registered_model_name="breast-cancer-rf")
        print(f"n={n_est} cv_f1={cv_scores.mean():.3f} test_f1={test_f1:.3f}")

Armadilhas

Não registrar a versão dos dados - impossível reproduzir execuções. Correção: registrar hash dos dados ou revisão DVC.
Registrar em notebooks sem contexto de execução - métricas órfãs. Correção: with mlflow.start_run() em scripts.
Muitas execuções sem nome - impossível comparar. Correção: run_name e tags.

Alternativas

Alternativa	Usar Quando	Não Usar Quando
MLflow	ML Geral, auto-hospedado	Precisa de UI de colaboração integrada
W&B	Dashboards de equipe, deep learning	Configuração local mínima
TensorBoard	Curvas de treinamento PyTorch	Experimentos não-deep-learning
Log CSV	Experimentos pessoais rápidos	Colaboração em equipe

FAQs

MLflow local vs servidor?

`mlflow ui` para local; servidor de rastreamento para compartilhamento em equipe.

Como comparar execuções?

Aba Experimentos da UI do MLflow; ordenar por métrica.

O que registrar?

Parâmetros, métricas, artefato do modelo, hash dos dados, commit git, versões de bibliotecas.

Configuração W&B?

`wandb.init(project="...")` então `wandb.log({"f1": 0.9})`.

Registrar artefatos?

`mlflow.log_artifact("confusion_matrix.png")`.

Execuções aninhadas?

Busca de hiperparâmetros com execuções pai/filho no MLflow.

Auto-registro?

`mlflow.sklearn.autolog()` registra parâmetros/métricas automaticamente.

Por quanto tempo manter execuções?

Definir política de retenção; arquivar experimentos antigos.

Rastrear uso de GPU?

Registrar como parâmetro; W&B rastreia métricas do sistema automaticamente.

Integração CI?

Registrar métricas de avaliação de execuções de treinamento em CI para detecção de regressão.

Múltiplos experimentos?

`mlflow.set_experiment("nome")` separa execuções do projeto.

Reproduzir uma execução?

Carregar parâmetros registrados, versão dos dados e seed dos metadados da execução.

Relacionados

Versões da Stack: Esta página foi escrita para Python 3.14.0 (estável 3.14, manutenção 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, e uv 0.6+.

Rastreamento de Experimentos

Buscar na documentação

Rastreamento de Experimentos