As três alavancas para construir sistemas melhores com LLMs

Um assistente interno responde de forma genérica. A reação imediata da equipe é procurar um modelo maior. Depois de algumas horas de comparação, a qualidade melhora pouco e o custo dobra.

O problema, porém, não estava no modelo. A instrução não definia o formato esperado e o sistema não fornecia os documentos necessários. A equipe tentou resolver na camada mais cara um erro que estava nas camadas mais simples.

Esse padrão aparece com frequência em projetos de IA. Para evitá-lo, é útil trabalhar com três alavancas: instruções, contexto e modelo.

As três alavancas representam diferentes formas de alterar o comportamento do sistema:

1. Instruções: mudar o que pedimos e como definimos a tarefa.

2. Contexto: mudar as informações que o modelo recebe no momento da execução.

3. Modelo: trocar ou alterar os pesos do modelo para especializá-lo.

A ordem importa. Instruções costumam ser mais rápidas e baratas. Contexto adiciona infraestrutura, mas mantém o modelo intacto. Alterar o modelo tende a exigir dados, treinamento, avaliação mais extensa e operação especializada.

O framework não significa que fine-tuning seja sempre a última ação cronológica. Em alguns produtos, ele é uma escolha estratégica desde o início. A ideia é outra: não assumir que o modelo precisa mudar antes de provar que instruções e contexto são insuficientes.

Em produção, prompts não deveriam viver apenas na memória de uma pessoa ou em blocos copiados manualmente. Eles precisam ser versionados, revisados, associados a casos de teste e avaliados antes de mudanças.

Uma alteração aparentemente pequena — pedir mais concisão, mudar a ordem das instruções ou acrescentar um exemplo — pode melhorar um cenário e piorar outro. Por isso, o prompt deve ser testado sobre um conjunto representativo de entradas.

Também é útil separar responsabilidades. A instrução de sistema define políticas e papel geral; o template de tarefa descreve o trabalho específico; os dados do usuário e o contexto recuperado entram em campos próprios. Essa organização reduz ambiguidades e facilita auditoria.

Few-shot: exemplos como especificação

Quando a descrição textual não basta, exemplos podem demonstrar o comportamento esperado. Um conjunto pequeno de pares entrada–saída mostra ao modelo o nível de detalhe, a estrutura e as exceções relevantes.

Few-shot é especialmente útil em extração estruturada, classificação com categorias próprias da empresa e transformação de texto. Mas exemplos ruins também ensinam padrões ruins. Eles precisam representar casos reais, inclusive situações de fronteira.

Quando instruções não bastam

Alavanca 2: contexto

Contexto é tudo o que o sistema fornece além da instrução: histórico da conversa, documentos, registros de banco de dados, resultados de busca, preferências do usuário e saídas de ferramentas.

Em termos práticos, engenharia de contexto é a disciplina de selecionar, organizar e apresentar ao modelo as informações de que ele precisa naquele momento.

O objetivo não é colocar o máximo possível na janela de entrada. Contexto demais aumenta custo, pode diluir evidências importantes e introduzir contradições. O desafio é fornecer o conjunto mínimo suficiente.

RAG: buscar antes de responder

 A terceira alavanca reúne duas decisões diferentes: escolher o modelo mais adequado e modificar o modelo por treinamento ou otimização.