Alucinação de IA: de 17% a 33% de erro em teste de Stanford

A alucinação de IA tem medição pública, e o número mais sólido que eu conheço vem de um teste em que a IA tinha tudo para acertar. Pesquisadores do RegLab e do Instituto de IA Centrada no Humano (HAI) de Stanford aplicaram 202 perguntas jurídicas, registradas antes do teste, a três ferramentas de pesquisa jurídica que buscam a resposta numa base de leis e decisões antes de escrever. Cada uma errou ou citou uma fonte que não sustentava o que dizia em 17% a 33% das respostas, e um modelo de uso geral, sem acesso à base, chegou a 43% (Magesh et al., 2025). Esses números valem para aquele teste, feito em 2024, com aquelas versões e aquele tipo de pergunta, porque não existe uma taxa de erro única da IA generativa. As medições mostram que a taxa depende da tarefa, de a IA ter ou não a fonte na mão e de alguém conferir a resposta, e é isso que a liderança de vendas e de atendimento precisa levar para a operação.

Na Iasbeck&Co a gente implanta CRM e agentes de IA em operações B2B, e a pergunta que mais ouço da diretoria depois da primeira demonstração é quanto a IA erra. Reuni as medições públicas mais citadas e traduzo os números para proposta, preço e política comercial.

O que é alucinação de IA?

Uma das revisões de literatura mais citadas sobre o tema, publicada na ACM Computing Surveys, define alucinação como conteúdo gerado sem sentido ou infiel à fonte fornecida e separa dois tipos. A alucinação intrínseca contradiz a fonte, como um resumo que troca o ano de um fato do texto original. A extrínseca acrescenta algo que a fonte não permite confirmar nem desmentir, e os autores lembram que essa informação pode até estar certa, mas pede cautela porque ninguém consegue verificá-la no material de origem (Ji et al., 2023).

O NIST, órgão de padrões técnicos do governo dos Estados Unidos, usa o termo “confabulação” no seu perfil de riscos da IA generativa e o descreve como conteúdo errado ou falso apresentado com confiança. O documento liga o fenômeno ao desenho dos modelos, que geram texto prevendo a próxima palavra, e diz que o risco cresce em respostas longas e em temas especializados (NIST, 2024). Para quem vende, a consequência é que a IA escreve um desconto inexistente com a mesma fluência com que escreve o preço certo.

Quais pesquisas medem quanto a IA erra?

Escolhi medições que descrevem o método. Uma delas é um ranking mantido por uma empresa que vende o próprio modelo de avaliação, e o AI Index compila dados de terceiros.

Fonte	Ano	Amostra e método	Principal achado
Magesh et al., Journal of Empirical Legal Studies	2025 (testes em 2024)	202 perguntas jurídicas pré-registradas, aplicadas a três ferramentas com busca em base própria e a um modelo de uso geral; avaliação manual	Ferramentas jurídicas alucinaram em 17% a 33% das respostas; o modelo de uso geral, em 43%
Vectara, Hallucination Leaderboard	atualizado em 16/10/2026	Cada modelo resume mais de 7.700 artigos usando só o texto; um modelo da empresa julga a fidelidade	De 1,8% a 24,2% entre 109 modelos
Stanford HAI, AI Index Report 2026, cap. 3	2026	Compila testes de terceiros e uma pesquisa com líderes empresariais feita com a McKinsey	Sem fonte, 26 modelos alucinam de 22% a 94%; 74% das organizações veem a imprecisão como risco relevante
Mata v. Avianca, Tribunal Federal do Distrito Sul de Nova York	2023	Decisão sobre sanções no processo 22-cv-1461	Seis decisões inexistentes citadas numa petição; multa de US$ 5.000
Ji et al., ACM Computing Surveys	2023	Revisão da literatura sobre alucinação em geração de texto	Define alucinação intrínseca e extrínseca
NIST AI 600-1	2024	Perfil de gestão de risco da IA generativa	Classifica a confabulação como risco próprio da IA generativa e a liga ao viés de automação

Quanto a IA erra no teste de Stanford?

O estudo de Stanford testa a situação que as empresas estão comprando agora, um modelo de linguagem que consulta uma base de documentos antes de responder. Os fornecedores divulgavam que o método eliminava ou evitava a alucinação, e os autores registraram perguntas e protocolo em 22 de março de 2024, antes de qualquer teste. Das 202 perguntas, 80 são de pesquisa jurídica geral, como questões do exame da ordem americana, 70 dependem de jurisdição ou de mudança recente da lei, 22 trazem uma premissa falsa embutida e 30 tratam de fatos simples de processos (Magesh et al., 2025).

O critério do estudo serve para qualquer área. Uma resposta conta como alucinada quando traz informação incorreta ou quando afirma que uma fonte sustenta algo que ela não sustenta. O segundo caso é o mais traiçoeiro, porque o documento citado existe. O artigo nomeia os produtos; aqui eu os numero, porque para a liderança importa o padrão.

Sistema testado	Corretas e bem fundamentadas	Incompletas ou recusadas	Com alucinação
Ferramenta jurídica 1	65%	18%	17%
Ferramenta jurídica 2	42%	25%	33%
Ferramenta jurídica 3	20%	63%	17%
Modelo de uso geral, sem base jurídica	49%	8%	43%

Fonte: Magesh et al., 2025, figura 4.

O que a tabela ensina para quem vai comprar IA

A busca na base reduziu a alucinação em relação ao modelo de uso geral, e nenhuma ferramenta chegou perto de zero. A ferramenta 3 alucinou pouco porque recusou ou deixou incompletas 63% das respostas, já que consulta só artigos da equipe do próprio fornecedor, e uma taxa baixa de erro pode esconder uma ferramenta que quase nunca responde. A ferramenta 2 escrevia as respostas mais longas, com 350 palavras em média contra 219 e 175 das outras, e os autores observam que texto longo carrega mais afirmações que podem estar erradas e exige mais tempo de quem confere. Eles apontam os limites: três produtos, uma amostra pequena e um retrato de um momento, já que as respostas de uma das ferramentas mudaram durante a pesquisa, feita entre março e maio de 2024.

O que mede o ranking de alucinação da Vectara?

O ranking da Vectara é a medição pública atualizada com mais frequência. A empresa entrega a cada modelo mais de 7.700 artigos de notícias, ciência, medicina, direito, negócios e outras áreas, com 50 a 24 mil palavras, e pede um resumo usando só as informações do texto. Um modelo de avaliação comercial da própria Vectara, o HHEM-2.3, decide se cada resumo é fiel ao original. Na versão de 16 de outubro de 2026, os 109 modelos listados vão de 1,8% a 24,2% de alucinação, e pela minha conta a mediana da tabela fica em 9,6% (Vectara, 2026).

O desenho tem limites que a própria empresa reconhece. Resumir um texto que está na frente do modelo é a situação mais favorável possível, e um modelo julga outro modelo, sem revisão humana de cada caso. A versão aberta do avaliador funciona só em inglês, o conjunto de textos não é público e a empresa trocou esse conjunto entre versões do ranking. O AI Index reproduz o ranking, com taxas de 1,8% a 5,4% entre os 15 primeiros (Stanford HAI, 2026). Eu uso o número como ordem de grandeza para resumo com fonte, sem estendê-lo a outras tarefas.

Por que a IA erra mais quando não tem a fonte?

O mesmo capítulo do AI Index traz uma medição com desenho oposto. O AA-Omniscience, da empresa Artificial Analysis, faz 6.000 perguntas de conhecimento em seis áreas, de direito e saúde a engenharia de software, sem entregar texto de apoio, e a pontuação penaliza a resposta errada sem penalizar a recusa, para incentivar o modelo a admitir que não sabe. Entre 26 modelos, as taxas de alucinação foram de 22% a 94%. O relatório também destaca o KaBLE, teste acadêmico com 13 mil perguntas: os modelos mais recentes acertam 95% quando uma crença falsa é atribuída a outra pessoa, e 62,6% quando é o próprio usuário que a afirma (Stanford HAI, 2026). O vendedor que pergunta como justificar o desconto de 30% que a política permite, quando a política para em 15%, entrega à IA uma premissa falsa que ela tende a aceitar.

Medição	Tarefa	A IA recebe a fonte?	Faixa de alucinação
Vectara, 2026	Resumir um artigo	Sim, o texto completo	1,8% a 24,2%
Magesh et al., 2025	Responder pergunta jurídica	Sim, por busca numa base	17% a 33% com base; 43% sem base
AA-Omniscience, no AI Index 2026	Responder pergunta de conhecimento	Não	22% a 94%

As três escalas usam critérios diferentes e não se comparam ponto a ponto, como o próprio AI Index avisa. A ordem, porém, se repete: com o texto inteiro na frente, o erro fica abaixo de 10% em pouco mais da metade dos modelos; com uma busca que pode trazer o documento errado, sobe; sem fonte, a resposta depende do que o modelo memorizou.

O que decidiu o tribunal no caso Mata v. Avianca?

O caso que levou a alucinação para fora da área técnica é a ação de um passageiro contra uma companhia aérea, julgada em Nova York. Em 1º de março de 2023, os advogados do autor protocolaram uma manifestação contra o pedido de encerrar a ação por prazo vencido, citando decisões judiciais. A defesa disse não encontrar vários daqueles casos, e os advogados apresentaram textos de “decisões” gerados por um chatbot de IA de uso geral. Em 22 de junho de 2023, o juiz P. Kevin Castel identificou seis decisões inexistentes, atribuídas a juízes reais, aplicou multa de US$ 5.000 aos dois advogados e ao escritório e mandou que enviassem a decisão ao cliente e a cada juiz apontado como autor de uma decisão falsa (Mata v. Avianca, 2023).

O motivo da sanção é o que interessa à liderança. O juiz escreve que não há nada de impróprio em usar uma ferramenta de IA confiável como apoio e que as regras dão ao advogado o papel de guardião da exatidão do que assina. A punição veio porque ninguém conferiu as citações e porque os advogados mantiveram as decisões falsas depois que o tribunal questionou a existência delas. Um deles contou na audiência que trabalhava com a falsa percepção de que a ferramenta não seria capaz de fabricar casos. O NIST chama esse comportamento de viés de automação, a tendência de confiar demais num sistema automatizado, e alerta que ele amplia o risco de confabulação (NIST, 2024).

Quanto as empresas se preocupam com a imprecisão da IA?

Numa pesquisa do AI Index com a McKinsey junto a líderes empresariais de várias regiões e setores, sem respondentes da China, a fatia que considera a imprecisão da IA um risco relevante passou de 60% em 2024 para 74% em 2025. A imprecisão virou o risco mais citado entre os que o relatório mostra, à frente da segurança cibernética (72%) e da conformidade regulatória (63%), e a parcela que diz mitigar esse risco de forma ativa foi de 55% para 71% (Stanford HAI, 2026). São números de percepção, sem tamanho de amostra informado no capítulo. Outros dados de risco das pesquisas globais estão em estado da IA nas empresas.

Onde a IA pode errar em vendas e atendimento?

Nas operações que eu acompanho, a IA erra onde um vendedor novo erraria, só que com segurança e em volume. Na distinção de Ji et al., o erro intrínseco é o resumo da call que diz que o cliente aprovou o orçamento quando ele pediu mais prazo, e o extrínseco é a proposta que acrescenta um prazo de implantação que não está em fonte nenhuma.

Onde a IA escreve	Erro típico	Custo do erro	Controle
Proposta comercial	Preço, desconto, escopo ou prazo fora da tabela	Margem perdida ou compromisso contratual	Valores saem de campos do CRM
Política comercial e de atendimento	Reembolso, SLA ou cancelamento desatualizados	Reclamação e risco jurídico	Resposta só com o trecho da política vigente
Resumo de reunião	Objeção ou próximo passo que o cliente não disse	Previsão de vendas errada	Trecho da transcrição em cada afirmação
Especificação de produto	Funcionalidade ou integração inexistente	Venda que vira cancelamento	Base de produto com dono e data de revisão
Pesquisa sobre a conta	Cargo, faturamento ou notícia inventados	Abordagem com dado errado	Fonte obrigatória para cada dado externo

Na proposta, o controle que mais reduz erro é tirar da IA a tarefa de escrever números: preço, desconto e escopo saem do CRM, e a IA cuida do texto em volta. O roteiro de uma proposta está em proposta comercial B2B.

O que é RAG, em linguagem simples?

RAG é a sigla em inglês para geração aumentada por recuperação, a técnica das ferramentas jurídicas testadas em Stanford. Em sala, eu comparo com a prova com consulta: em vez de responder de memória, o sistema primeiro busca na base da empresa os trechos que parecem responder à pergunta, entrega esses trechos ao modelo e pede que ele escreva a partir deles.

O estudo de Stanford mostra onde a prova com consulta ainda falha: a busca traz um texto parecido que não se aplica ao caso ou uma versão revogada da regra, ou o modelo lê o trecho certo e tira dele uma conclusão errada (Magesh et al., 2025). Na empresa, o RAG transfere boa parte do problema para a base, como a política de desconto antiga que ninguém arquivou. Os pré-requisitos da base para o atendimento estão em IA no atendimento ao cliente.

Por que a revisão humana precisa de método

Conferir custa tempo, porque cada afirmação e cada citação pedem verificação. Num exemplo ilustrativo, um agente que responde mil perguntas por mês com 5% de erro produz 50 respostas erradas no mesmo tom seguro das corretas. Por isso eu peço respostas curtas, com o trecho da fonte ao lado de cada afirmação, e a instrução de dizer que não encontrou quando a base não tiver a resposta. O que o revisor confere antes do envio deve estar escrito na política de uso de IA.

O que esses dados não dizem

Nenhuma dessas medições dá a taxa de erro da IA na sua empresa. Stanford usou perguntas jurídicas dos Estados Unidos, em inglês, com versões de 2024; a Vectara mede só resumo com o texto na mão, julgado por um modelo; o AA-Omniscience mede conhecimento sem fonte com uma regra de pontuação própria.

A unidade também muda. Stanford conta respostas com pelo menos uma alucinação, de modo que uma resposta longa com uma frase errada conta inteira, enquanto outros testes contam afirmações. Duas medições vêm de empresas, Vectara e Artificial Analysis, o que pede atenção ao método sem descartar o dado. O caso Mata v. Avianca ilustra o mecanismo do erro sem medir sua frequência. E os números envelhecem rápido, porque cada atualização do ranking traz modelos novos que podem errar mais que os anteriores. Nas buscas que fiz para este texto, não encontrei fonte primária para nenhuma taxa geral do tipo “a IA alucina em X% das respostas”; o que existe são taxas por tarefa.

O que a liderança faz com esses números

Este é o roteiro que eu proponho antes de deixar a IA escrever algo que chega ao cliente.

1. Mapeie onde a IA escreve para fora. Liste proposta, follow-up, resposta de chamado e qualquer texto com preço, prazo ou condição, e classifique cada um pelo custo de um erro.
2. Meça a taxa da sua operação. Monte 50 a 100 perguntas reais, com a resposta certa escrita antes do teste, como fez Stanford, e rode o agente sobre elas antes de ligar e a cada mudança de modelo ou de base.
3. Dê a fonte e proíba a resposta sem fonte. Conecte o agente à tabela de preços, à política vigente e à base de produto.
4. Tire os números da mão da IA. Preço, desconto, prazo e escopo vêm de campos do CRM.
5. Revise pelo custo do erro. Preço, condição e política passam por uma pessoa antes do envio; resumos internos são conferidos por amostragem semanal, com contagem de afirmações erradas.
6. Dê dono à base e ao agente. Uma pessoa responde pela base de conhecimento e outra pelo agente, e as duas recebem a taxa de erro do mês, como no desenho de agentes de IA.

O que o RH e o T&D precisam considerar

O depoimento do advogado no caso Mata v. Avianca mostra a lacuna de formação: ele sabia usar a ferramenta e não sabia que ela podia inventar uma decisão com número de processo e nome de juiz. O que reduz o viés de automação descrito pelo NIST é a prática de verificação, em que o time aprende a pedir a fonte, a conferir se o trecho citado diz o que a resposta afirma e a desconfiar de premissas embutidas na própria pergunta. O RH mede o efeito pela taxa de erros que chegaram ao cliente, antes e depois da formação.

As medições públicas mostram que a IA com fonte erra menos que a IA de memória e que nenhuma chegou a zero, e o resultado depende da base que a empresa mantém e do método de quem confere. Esse é o trabalho do treinamento in company de IA aplicada, montado sobre os processos e os dados da empresa, com turmas para diretoria, lideranças e equipes de vendas, marketing e CS. Ele entrega a biblioteca de prompts por área e a arquitetura de agentes, com o que cada agente lê, o que executa sozinho e quem aprova o restante, incluindo as regras de fonte e de revisão.

Perguntas frequentes

O que é alucinação de IA?

É o conteúdo gerado pela IA que está errado ou não se apoia na fonte, apresentado com a mesma confiança de uma resposta certa. A literatura separa a alucinação que contradiz a fonte da que acrescenta algo impossível de verificar, e o NIST usa o termo confabulação para o mesmo fenômeno.

Quanto a IA generativa erra?

Depende da tarefa e de a IA ter a fonte. No resumo de textos medido pela Vectara, as taxas vão de 1,8% a 24,2% entre 109 modelos; em perguntas jurídicas com busca numa base, Stanford mediu de 17% a 33%; em perguntas abertas sem fonte, o AI Index registra de 22% a 94%. A taxa da sua operação só aparece num teste com as suas perguntas.

RAG elimina a alucinação de IA?

Não. No teste de Stanford, ferramentas com busca numa base jurídica erraram menos que um modelo de uso geral e ainda assim alucinaram em 17% a 33% das respostas. O RAG reduz o erro quando a base está atualizada e a busca traz o documento certo, e por isso a qualidade da base vira o principal ponto de controle.

Por que a IA inventa informação com tanta segurança?

Os modelos geram texto prevendo a próxima palavra a partir dos padrões que aprenderam, e essa previsão pode produzir uma frase fluente e falsa. O tom de certeza é o mesmo nos dois casos, e o NIST alerta que isso leva as pessoas a acreditar no conteúdo e agir sobre ele.

A empresa responde pelo erro que a IA comete?

No caso Mata v. Avianca, o tribunal puniu os advogados e o escritório porque cabia a eles conferir o que assinaram. Fora desse caso, a responsabilidade depende do contrato, do setor e da legislação de cada país, e o jurídico da empresa deve participar da definição das regras de revisão.

Como preparar o time para revisar o que a IA escreve?

Treine verificação junto com o uso: pedir a fonte de cada afirmação, conferir se o trecho citado sustenta a frase, desconfiar de premissas embutidas na pergunta e saber o que nunca sai sem revisão, como preço, prazo e política. Meça antes e depois a taxa de erros pegos na revisão e a de erros que chegaram ao cliente.