Testes A/B e Experimentação

Testes A/B medem se uma mudança melhora resultados - conversão, latência ou receita - com divisões de tráfego controladas. Backends Python atribuem variantes do lado do servidor, registram exposições e monitoram barreiras de segurança para que experimentos não se tornem interrupções.

Receita

Cartão de receita de referência rápida - pronto para copiar e colar.

import hashlib
 
 
def variant(user_id: str, experiment: str) -> str:
    bucket = int(hashlib.sha256(f"{experiment}:{user_id}".encode()).hexdigest()[:8], 16) % 100
    return "B" if bucket < 50 else "A"

log.info("experiment_exposure", experiment="checkout_cta", variant=variant(uid, "checkout_cta"))

Quando usar isso:

• O produto pergunta "o novo fluxo converte melhor?"
• Mudança de algoritmo de precificação ou ranqueamento precisa de evidências
• Mudança de cópia de UX com etapa de funil mensurável
• Troca de modelo ou heurística com KPI de negócios

Exemplo de Trabalho

"""ab_experiment.py - atribuição, registro de exposição, barreiras de segurança."""
from __future__ import annotations
 
import hashlib
from dataclasses import dataclass
from enum import Enum
 
 
class Variant(str, Enum):
    A = "A"
    B = "B"
 
 
@dataclass(frozen=True)
class Experiment:
    name: str
    traffic_pct: int  # B recebe esta porcentagem
    success_metric: str
    guardrail_metrics: tuple[str, ...]
 
 
def assign_variant(user_id: str, exp: Experiment) -> Variant:
    digest = hashlib.sha256(f"{exp.name}:{user_id}".encode()).hexdigest()
    bucket = int(digest[:8], 16) % 100
    return Variant.B if bucket < exp.traffic_pct else Variant.A
 
 
@dataclass
class ExposureEvent:
    experiment: str
    variant: Variant
    user_id: str
 
 
def checkout_cta_label(user_id: str, exp: Experiment) -> tuple[str, ExposureEvent]:
    v = assign_variant(user_id, exp)
    label = "Completar compra" if v == Variant.B else "Checkout"
    return label, ExposureEvent(exp.name, v, user_id)
 
 
if __name__ == "__main__":
    exp = Experiment("checkout_cta", 50, "checkout_completed", ("p95_latency", "error_rate"))
    print(checkout_cta_label("user-42", exp))

O que isso demonstra:

• Atribuição fixa determinística por usuário e experimento
• Eventos de exposição registrados para denominadores de análise
• Métricas de guarda definidas antecipadamente (latência, erros)
• Lógica de variante permanece do lado do servidor em manipuladores Python

Mergulho Profundo

Como Funciona

• Hipótese - Escrita antes do código; a métrica de sucesso é um KPI primário.
• Proporção da amostra - 50/50 é comum; análise de poder define a duração quando possível.
• Barreiras de segurança - Aborta se a taxa de erro ou p95 degradar além do limite.
• Análise - Use denominadores corretos (usuários expostos), não todo o tráfego.
• Ética/conformidade - Documente PII em logs de experimentos; respeite regiões de opt-out.

Experimento vs. Feature Flag

Notas Python

# Armazena exposições em um esquema amigável para o data warehouse
EXPOSURE_SCHEMA = {
    "experiment": str,
    "variant": str,
    "user_id": str,
    "timestamp": str,
}

Armadilhas

• Olhar os resultados diariamente e parar cedo - Infla falsos positivos. Correção: Pré-registrar duração ou usar métodos de teste sequencial.
• Atribuição não fixa - Usuários mudam de variante; dados inúteis. Correção: Hash de ID de usuário estável.
• Atribuição do lado do cliente - Enviesada e falsificável. Correção: Servidor atribui; cliente renderiza.
• Ignorar barreiras de segurança - Receita aumenta, interrupções aumentam. Correção: Pausar experimento automaticamente em caso de queima de SLO.
• Múltiplos experimentos colidindo - Efeitos de interação. Correção: Registro de experimentos; limitar sobreposição por superfície.

Alternativas

FAQs

Relacionados

• Feature Flags e Entrega Progressiva - entrega vs. medição
• Métricas DORA - velocidade de entrega de guarda
• Logging Estruturado - eventos de exposição
• Métricas - dashboards de barreiras de segurança
• Priorizando Plataforma e Débito Técnico - backlog de experimentos

Versões do Stack: Esta página foi escrita para Python 3.14.0 (estável 3.14, manutenção 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, e uv 0.6+.