Melhores Práticas de LLMs

Regras para construir aplicações LLM confiáveis, seguras e econômicas. Revise esta lista durante a revisão do design e antes do lançamento em produção.

Como Usar Esta Lista

• Regras A-B cobrem segurança e higiene de API.
• Regras C-D governam a qualidade do prompt e o tratamento da saída.
• Regras E-F cobrem custo, avaliação e operações.
• Revise ao adicionar um novo modelo, provedor ou recurso.

A - Segurança e Chaves

• Carregue chaves de API de variáveis de ambiente. Nunca comite chaves no git; use gerenciadores de segredos em produção.
• Rotacione chaves se expostas. Trate commits acidentais como incidentes - revogue e reemita imediatamente.
• Sanitize a entrada do usuário antes de incluí-la nos prompts. Use delimitadores; nunca concatene a entrada do usuário em prompts do sistema.
• Valide as saídas do modelo antes da execução. Nunca use eval() ou exec() código gerado por LLM sem sandboxing.
• Registre hashes de prompt, não prompts completos. Proteja os dados do usuário nos logs; registre o suficiente para depuração.

B - Uso da API

• Defina max_tokens em cada solicitação. Evite geração descontrolada e surpresas de custo.
• Lide com limites de taxa com backoff exponencial. Capture erros 429; use semáforos para concorrência.
• Use o nível de modelo correto. Mini/haiku para tarefas simples; full/sonnet apenas quando necessário.
• Defina timeouts em chamadas de API. Evite que solicitações pendentes bloqueiem sua aplicação.
• Use clientes assíncronos em servidores web. AsyncOpenAI no FastAPI; nunca bloqueie o loop de eventos.

C - Qualidade do Prompt

• Escreva prompts de sistema específicos. Papel, restrições, formato de saída e comportamento em caso de falha.
• Use temperature=0 para extração e classificação. Reserve temperaturas mais altas para tarefas criativas.
• Fundamente as respostas com contexto recuperado (RAG). Instrua "diga que não sei" quando o contexto for insuficiente.
• Versionamento de prompts no git. Rastreie alterações de prompt como código; teste A/B de variantes.
• Itere prompts antes do fine-tuning. Engenharia de prompt é mais barata e rápida de iterar.

D - Tratamento de Saída

• Valide saída estruturada com Pydantic. Nunca confie em JSON bruto do modelo.
• Tente novamente em caso de falha de validação (máximo 3). Inclua o erro de validação no prompt de nova tentativa.
• Lide com conteúdo nulo e tool_calls. Ramifique com base em finish_reason e tipo de resposta.
• Adicione pontuações de confiança ou revisão humana para campos de alto risco. A saída do modelo é probabilística, não garantida.
• Transmita para usuários em respostas longas. Melhore a latência percebida com streaming de tokens.

E - Custo e Desempenho

• Registre o uso de tokens em cada chamada. Rastreie response.usage por recurso para atribuição de custo.
• Apare a história da conversa. Resuma ou descarte turnos antigos para permanecer dentro dos limites de contexto.
• Cache consultas repetidas. Hash do prompt + modelo; retorne a resposta em cache quando idêntica.
• Agrupe trabalho offline. Use a API Batch para incorporação e avaliação em massa.
• Considere modelos locais para tarefas simples de alto volume. Ollama/vLLM quando o custo da API exceder o custo da GPU.

F - Avaliação e Segurança

• Construa um conjunto de avaliação antes de implantar. Mínimo de 20-50 pares de entrada/saída esperada rotulados.
• Meça a precisão, não as "vibrações". Métricas automatizadas no conjunto de avaliação para cada alteração de prompt.
• Teste casos extremos. Entrada vazia, entrada muito longa, prompts adversários, texto não inglês.
• Implemente filtragem de conteúdo. Lide com recusas, violações de política e saídas prejudiciais graciosamente.
• Monitore a qualidade da produção. Rastreie feedback do usuário, taxas de erro e falhas de validação de saída.

FAQs

Relacionados

• Engenharia de Prompt - padrões de prompt
• Saída Estruturada - validação de saída
• Tokens, Custo e Limites de Taxa - orçamento
• Avaliação e Guardrails - medição de qualidade
• Melhores Práticas de Agentes de IA - regras específicas de agentes

Versões da Stack: Esta página foi escrita para Python 3.14.0 (estável 3.14, manutenção 3.13), FastAPI 0.115+, Django 5.2, Flask 3.1, Pydantic 2, PyTorch 2.6+, pandas 2.2+, Polars 1.x, ruff 0.9+, e uv 0.6+.