Como testar as respostas do agente de IA: separe perguntas reais com gabarito, rode cada pergunta três vezes, confira fato, fonte, tom e limites e repita a cada mudança na base
Para testar um agente de IA antes de usar no dia a dia, separe de 10 a 20 perguntas reais cuja resposta certa você já conhece, rode o agente com elas e compare cada resposta com esse gabarito. Anote acertos, erros e respostas inventadas, e só libere o agente quando ele acertar o que importa e souber dizer "não sei" no resto. Repita o teste sempre que a base de conhecimento ou a instrução mudar.
No post sobre memória e base de conhecimento dos agentes de IA, vimos onde guardar instruções, tom de voz e preços. Só que a base pronta não garante que o agente use o trecho certo: ele pode pegar a tabela antiga, misturar duas regras ou completar a resposta com um palpite.
Por que testar o agente antes de usar no dia a dia?
Porque o agente responde com a mesma segurança quando acerta e quando inventa. O NIST, instituto de padrões dos Estados Unidos, publicou em 26/07/2024 um guia de riscos de IA generativa que chama isso de confabulação: o sistema apresenta com confiança um conteúdo falso. O guia recomenda testar antes do uso, em condições parecidas com as reais.
Pular essa etapa já custou caro. Em 14/02/2024, o Tribunal de Resolução Civil da Colúmbia Britânica, no Canadá, mandou a Air Canada pagar 812,02 dólares canadenses a um passageiro. O chatbot do site disse que ele poderia pedir a tarifa com desconto depois da viagem, contrariando a política da empresa, que respondeu pelo erro.
Como montar o primeiro teste?
Com uma lista curta de perguntas reais e a resposta certa de cada uma ao lado. Não precisa de centenas: a Anthropic escreveu em 09/01/2026, num guia sobre avaliação de agentes, que de 20 a 50 tarefas simples tiradas de falhas reais já são um ótimo começo. Para um primeiro teste no marketing, 10 a 20 perguntas resolvem.
Na prática, numa tarde de terça:
- Separe as perguntas: as dúvidas que mais chegam no WhatsApp e no e-mail, como "qual o prazo de entrega para Recife?" ou "a promoção vale para o plano anual?".
- Escreva o gabarito: a resposta certa de cada uma, tirada da base de conhecimento.
- Inclua perguntas armadilha: pedidos que o agente deve recusar, como desconto fora da regra ou dado pessoal de outro cliente.
- Rode e anote: guarde cada resposta numa planilha e marque certo, errado ou inventado.
O que conferir em cada resposta?
Cinco pontos: fato, fonte, tom, limite e o "não sei".
- Fato correto: preço, prazo e condição batem com o gabarito.
- Fonte da base: o agente usou o documento certo e atual, não a versão do mês passado.
- Tom de voz: soa como a marca, sem promessa exagerada.
- Limites: não revelou dados pessoais, não prometeu preço ou desconto fora da regra e encaminhou para uma pessoa o que devia.
- Saber dizer "não sei": quando a resposta não está na base, ele avisa em vez de inventar.
O último item é o mais esquecido. A OpenAI publicou em 05/09/2025 um estudo mostrando que os modelos inventam respostas em parte porque os testes comuns premiam o chute: "não sei" vale zero, e o chute às vezes acerta. No seu teste, conte a resposta inventada como erro mais grave do que o "não sei".
Que tipos de teste fazer e quando?
Quatro testes antes de usar e uma amostra depois:
| Tipo de teste | O que verifica | Quando fazer | Quem confere |
|---|---|---|---|
| Perguntas com gabarito | Fato e fonte certos nas dúvidas mais comuns | Antes de usar e a cada mudança na base | Você, comparando com o gabarito |
| Perguntas armadilha | Se recusa dado pessoal, desconto fora da regra e assunto fora da base | Antes de usar e a cada mudança de regra | Você, com as regras ao lado |
| Leitura do tom | Se a resposta soa como a marca | Antes de usar e quando o tom de voz mudar | Você, com o guia de tom de voz |
| Repetição | Se a mesma pergunta feita 3 vezes tem respostas coerentes | Antes de usar | Você |
| Amostra do dia a dia | Se continua acertando com perguntas novas | Toda semana, no primeiro mês | Você, antes de a resposta ir ao cliente |
A repetição parece exagero, mas não é. No mesmo guia, a Anthropic mostra que um agente que acerta 75% das vezes tem só cerca de 42% de chance de acertar três vezes seguidas.
Quando repetir o teste?
Toda vez que a base de conhecimento ou a instrução mudar. Mudou o preço, entrou um produto, trocou o modelo de IA: rode a mesma lista. A Anthropic chama isso de teste de regressão, que confirma se o agente continua acertando o que já acertava.
Guarde a data de cada rodada na planilha. Se o agente acertava 18 de 20 e, depois de trocar a tabela de preços, passou a acertar 14, algo quebrou na mudança.
Passou no teste, já pode responder sozinho?
Ainda não. O agente que acerta no teste pode errar com uma pergunta que ninguém previu. Nas primeiras semanas, mantenha a aprovação humana em tudo o que vai para cliente: o agente prepara a resposta, você confere e envia.
Quando a amostra semanal ficar estável, libere por partes, começando pelo que tem menor risco, como horário de funcionamento. É a lógica do post sobre o que o agente de IA pode fazer sozinho: a autonomia cresce com a confiança.
Como fazer o primeiro teste em uma tarde?
Seguindo sete passos. Este é o checklist que a Oficina Martech usa:
- Liste de 10 a 20 perguntas reais dos seus canais de atendimento e vendas.
- Escreva a resposta certa de cada uma, com o documento da base de onde ela vem.
- Acrescente de 3 a 5 perguntas armadilha.
- Faça cada pergunta três vezes e guarde as respostas numa planilha.
- Marque certa, errada, inventada ou "não sei", e confira tom e limites.
- Corrija a base ou a instrução onde o agente errou e rode a lista de novo.
- Libere com aprovação humana e salve a lista para a próxima mudança.
Conclusão
Testar um agente é como conferir o trabalho de alguém que acabou de chegar: perguntas com gabarito e atenção ao que foi inventado. Uma tarde de teste evita que um preço errado chegue ao cliente. Se quer ajuda para montar o primeiro teste dos seus agentes, peça um diagnóstico com um especialista da Oficina Martech.
Perguntas frequentes
Quantas perguntas preciso para testar um agente de IA?
Para começar, de 10 a 20 perguntas reais com resposta conhecida bastam. A Anthropic sugere de 20 a 50 tarefas tiradas de falhas reais. O importante é que as perguntas venham do seu dia a dia.
Posso usar outra IA para corrigir as respostas do agente?
Pode ajudar na leitura do tom, mas não substitui a sua conferência no começo. A Anthropic recomenda combinar correção automática, correção por modelo e revisão humana. Em preço, prazo e regras, compare você mesmo com o gabarito.
O que fazer quando o agente inventa uma resposta?
Veja primeiro se a informação existe na base. Se não existe, acrescente ou instrua o agente a dizer que não sabe e encaminhar. Se existe, o problema está na busca ou na instrução: ajuste e rode a lista de novo.
Preciso testar de novo se trocar o modelo de IA?
Sim. Modelo, instrução ou base nova pedem a mesma lista de perguntas, para comparar com a rodada anterior e perceber se algo deixou de funcionar.
Pulga atrás da orelha
O agente passou no teste e entrou na rotina. Mas as perguntas e os produtos mudam, e o erro pode aparecer só na terceira semana. Como acompanhar a qualidade das respostas depois que o agente já está no dia a dia? É o assunto do próximo post.
