Alucinación de IA: 17% a 33% de error en test de Stanford

La alucinación de IA tiene mediciones públicas, y el número más sólido que conozco viene de un test en el que la IA tenía todo para acertar. Investigadores del RegLab y del Instituto de IA Centrada en el Humano (HAI) de Stanford aplicaron 202 preguntas jurídicas, registradas antes del test, a tres herramientas de investigación jurídica que buscan la respuesta en una base de leyes y sentencias antes de escribir. Cada una dio información incorrecta o citó una fuente que no sostenía lo que decía en el 17% al 33% de las respuestas, y un modelo de uso general, sin acceso a la base, llegó al 43% (Magesh et al., 2025). Estos números valen para ese test, hecho en 2024, con esas versiones y ese tipo de pregunta, porque no existe una tasa de error única de la IA generativa. Las mediciones muestran que la tasa depende de la tarea, de que la IA tenga o no la fuente a mano y de que alguien revise la respuesta, y eso es lo que el liderazgo de ventas y de atención necesita llevar a la operación.

En Iasbeck&Co implantamos CRM y agentes de IA en operaciones B2B, y la pregunta que más escucho de la dirección después de la primera demostración es cuánto se equivoca la IA. Reuní las mediciones públicas más citadas y traduzco los números a propuesta, precio y política comercial.

¿Qué es la alucinación de IA?

Una de las revisiones de literatura más citadas sobre el tema, publicada en ACM Computing Surveys, define alucinación como contenido generado sin sentido o infiel a la fuente proporcionada y separa dos tipos. La alucinación intrínseca contradice la fuente, como un resumen que cambia el año de un hecho del texto original. La extrínseca agrega algo que la fuente no permite confirmar ni desmentir, y los autores recuerdan que esa información incluso puede ser correcta, pero pide cautela porque nadie puede verificarla en el material de origen (Ji et al., 2023).

El NIST, organismo de estándares técnicos del gobierno de Estados Unidos, usa el término “confabulación” en su perfil de riesgos de la IA generativa y lo describe como contenido erróneo o falso presentado con confianza. El documento vincula el fenómeno al diseño de los modelos, que generan texto prediciendo la siguiente palabra, y dice que el riesgo crece en respuestas largas y en temas especializados (NIST, 2024). Para quien vende, la consecuencia es que la IA escribe un descuento inexistente con la misma fluidez con que escribe el precio correcto.

¿Qué investigaciones miden cuánto se equivoca la IA?

Elegí mediciones que describen su método. Una de ellas es un ranking mantenido por una empresa que vende su propio modelo de evaluación, y el AI Index compila datos de terceros.

Fuente	Año	Muestra y método	Hallazgo principal
Magesh et al., Journal of Empirical Legal Studies	2025 (tests en 2024)	202 preguntas jurídicas prerregistradas, aplicadas a tres herramientas con búsqueda en base propia y a un modelo de uso general; evaluación manual	Las herramientas jurídicas alucinaron en el 17% al 33% de las respuestas; el modelo de uso general, en el 43%
Vectara, Hallucination Leaderboard	actualizado el 16/10/2026	Cada modelo resume más de 7.700 artículos usando solo el texto; un modelo de la empresa juzga la fidelidad	Del 1,8% al 24,2% entre 109 modelos
Stanford HAI, AI Index Report 2026, cap. 3	2026	Compila tests de terceros y una encuesta a líderes empresariales hecha con McKinsey	Sin fuente, 26 modelos alucinan del 22% al 94%; el 74% de las organizaciones ve la imprecisión como riesgo relevante
Mata v. Avianca, Tribunal Federal del Distrito Sur de Nueva York	2023	Decisión sobre sanciones en el proceso 22-cv-1461	Seis sentencias inexistentes citadas en un escrito; multa de US$ 5.000
Ji et al., ACM Computing Surveys	2023	Revisión de la literatura sobre alucinación en generación de texto	Define alucinación intrínseca y extrínseca
NIST AI 600-1	2024	Perfil de gestión de riesgos de la IA generativa	Clasifica la confabulación como riesgo propio de la IA generativa y la vincula al sesgo de automatización

¿Cuánto se equivoca la IA en el test de Stanford?

El estudio de Stanford prueba la situación que las empresas están comprando ahora, un modelo de lenguaje que consulta una base de documentos antes de responder. Los proveedores anunciaban que el método eliminaba o evitaba la alucinación, y los autores registraron preguntas y protocolo el 22 de marzo de 2024, antes de cualquier test. De las 202 preguntas, 80 son de investigación jurídica general, como preguntas del examen de abogacía de Estados Unidos, 70 dependen de la jurisdicción o de cambios recientes en la ley, 22 traen una premisa falsa incorporada y 30 tratan de hechos simples de procesos (Magesh et al., 2025).

El criterio del estudio sirve para cualquier área. Una respuesta cuenta como alucinada cuando trae información incorrecta o cuando afirma que una fuente sostiene algo que no sostiene. El segundo caso es el más traicionero, porque el documento citado existe. El artículo nombra los productos; aquí los numero, porque para el liderazgo importa el patrón.

Sistema probado	Correctas y bien fundamentadas	Incompletas o rechazadas	Con alucinación
Herramienta jurídica 1	65%	18%	17%
Herramienta jurídica 2	42%	25%	33%
Herramienta jurídica 3	20%	63%	17%
Modelo de uso general, sin base jurídica	49%	8%	43%

Fuente: Magesh et al., 2025, figura 4.

Lo que la tabla enseña a quien va a comprar IA

La búsqueda en la base redujo la alucinación frente al modelo de uso general, y ninguna herramienta se acercó a cero. La herramienta 3 alucinó poco porque rechazó o dejó incompletas el 63% de las respuestas, ya que consulta solo artículos del equipo del propio proveedor, y una tasa baja de error puede esconder una herramienta que casi nunca responde. La herramienta 2 escribía las respuestas más largas, con 350 palabras en promedio frente a 219 y 175 de las otras, y los autores observan que un texto largo trae más afirmaciones que pueden estar equivocadas y exige más tiempo de quien revisa. Ellos señalan los límites: tres productos, una muestra pequeña y una foto de un momento, ya que las respuestas de una de las herramientas cambiaron durante la investigación, hecha entre marzo y mayo de 2024.

¿Qué mide el ranking de alucinación de Vectara?

El ranking de Vectara es la medición pública que se actualiza con más frecuencia. La empresa entrega a cada modelo más de 7.700 artículos de noticias, ciencia, medicina, derecho, negocios y otras áreas, de 50 a 24 mil palabras, y pide un resumen usando solo la información del texto. Un modelo de evaluación comercial de la propia Vectara, el HHEM-2.3, decide si cada resumen es fiel al original. En la versión del 16 de octubre de 2026, los 109 modelos listados van del 1,8% al 24,2% de alucinación, y según mi cálculo la mediana de la tabla queda en 9,6% (Vectara, 2026).

El diseño tiene límites que la propia empresa reconoce. Resumir un texto que está frente al modelo es la situación más favorable posible, y un modelo juzga a otro modelo, sin revisión humana de cada caso. La versión abierta del evaluador funciona solo en inglés, el conjunto de textos no es público y la empresa cambió ese conjunto entre versiones del ranking. El AI Index reproduce el ranking, con tasas del 1,8% al 5,4% entre los 15 primeros (Stanford HAI, 2026). Uso el número como orden de magnitud para resúmenes con fuente, sin extenderlo a otras tareas.

¿Por qué la IA se equivoca más cuando no tiene la fuente?

El mismo capítulo del AI Index trae una medición con el diseño opuesto. El AA-Omniscience, de la empresa Artificial Analysis, hace 6.000 preguntas de conocimiento en seis áreas, del derecho y la salud a la ingeniería de software, sin entregar texto de apoyo, y la puntuación penaliza la respuesta equivocada sin penalizar el rechazo, para incentivar al modelo a admitir que no sabe. Entre 26 modelos, las tasas de alucinación fueron del 22% al 94%. El informe también destaca KaBLE, un test académico con 13 mil preguntas: los modelos más recientes aciertan el 95% cuando una creencia falsa se atribuye a otra persona, y el 62,6% cuando es el propio usuario quien la afirma (Stanford HAI, 2026). El vendedor que pregunta cómo justificar el descuento del 30% que la política permite, cuando la política llega al 15%, le entrega a la IA una premisa falsa que ella tiende a aceptar.

Medición	Tarea	¿La IA recibe la fuente?	Rango de alucinación
Vectara, 2026	Resumir un artículo	Sí, el texto completo	1,8% a 24,2%
Magesh et al., 2025	Responder una pregunta jurídica	Sí, mediante búsqueda en una base	17% a 33% con base; 43% sin base
AA-Omniscience, en el AI Index 2026	Responder una pregunta de conocimiento	No	22% a 94%

Las tres escalas usan criterios distintos y no se comparan punto a punto, como advierte el propio AI Index. El orden, sin embargo, se repite: con el texto completo enfrente, el error queda por debajo del 10% en poco más de la mitad de los modelos; con una búsqueda que puede traer el documento equivocado, sube; sin fuente, la respuesta depende de lo que el modelo memorizó.

¿Qué decidió el tribunal en el caso Mata v. Avianca?

El caso que llevó la alucinación fuera del área técnica es la demanda de un pasajero contra una aerolínea, juzgada en Nueva York. El 1 de marzo de 2023, los abogados del demandante presentaron un escrito contra el pedido de cerrar la demanda por plazo vencido, citando sentencias judiciales. La defensa dijo no encontrar varios de esos casos, y los abogados presentaron textos de “sentencias” generados por un chatbot de IA de uso general. El 22 de junio de 2023, el juez P. Kevin Castel identificó seis sentencias inexistentes, atribuidas a jueces reales, impuso una multa de US$ 5.000 a los dos abogados y al despacho y les ordenó enviar la decisión al cliente y a cada juez señalado como autor de una sentencia falsa (Mata v. Avianca, 2023).

El motivo de la sanción es lo que le interesa al liderazgo. El juez escribe que no hay nada impropio en usar una herramienta de IA confiable como apoyo y que las reglas le dan al abogado el papel de guardián de la exactitud de lo que firma. La sanción llegó porque nadie revisó las citas y porque los abogados mantuvieron las sentencias falsas después de que el tribunal cuestionó su existencia. Uno de ellos contó en la audiencia que trabajaba con la falsa percepción de que la herramienta no sería capaz de fabricar casos. El NIST llama a este comportamiento sesgo de automatización, la tendencia a confiar demasiado en un sistema automatizado, y advierte que amplía el riesgo de confabulación (NIST, 2024).

¿Cuánto les preocupa a las empresas la imprecisión de la IA?

En una encuesta del AI Index con McKinsey a líderes empresariales de varias regiones y sectores, sin participantes de China, la proporción que considera la imprecisión de la IA un riesgo relevante pasó del 60% en 2024 al 74% en 2025. La imprecisión se convirtió en el riesgo más citado entre los que muestra el informe, por delante de la ciberseguridad (72%) y del cumplimiento regulatorio (63%), y la proporción que dice mitigar ese riesgo de forma activa pasó del 55% al 71% (Stanford HAI, 2026). Son números de percepción, sin tamaño de muestra informado en el capítulo. Otros datos de riesgo de las encuestas globales están en estado de la IA en las empresas.

¿Dónde puede equivocarse la IA en ventas y atención?

En las operaciones que acompaño, la IA se equivoca donde se equivocaría un vendedor nuevo, solo que con seguridad y en volumen. En la distinción de Ji et al., el error intrínseco es el resumen de la llamada que dice que el cliente aprobó el presupuesto cuando pidió más plazo, y el extrínseco es la propuesta que agrega un plazo de implantación que no está en ninguna fuente.

Dónde escribe la IA	Error típico	Costo del error	Control
Propuesta comercial	Precio, descuento, alcance o plazo fuera de la lista	Margen perdido o compromiso contractual	Los valores salen de campos del CRM
Política comercial y de atención	Reembolso, SLA o cancelación desactualizados	Reclamo y riesgo jurídico	Respuesta solo con el pasaje de la política vigente
Resumen de reunión	Objeción o próximo paso que el cliente no dijo	Previsión de ventas equivocada	Pasaje de la transcripción en cada afirmación
Especificación de producto	Funcionalidad o integración inexistente	Venta que termina en cancelación	Base de producto con dueño y fecha de revisión
Investigación de la cuenta	Cargo, facturación o noticia inventados	Abordaje con dato equivocado	Fuente obligatoria para cada dato externo

En la propuesta, el control que más reduce el error es quitarle a la IA la tarea de escribir números: precio, descuento y alcance salen del CRM, y la IA se encarga del texto alrededor. El paso a paso de una propuesta está en propuesta comercial B2B.

¿Qué es RAG, en lenguaje simple?

RAG es la sigla en inglés de generación aumentada por recuperación, la técnica de las herramientas jurídicas probadas en Stanford. En clase, la comparo con un examen a libro abierto: en lugar de responder de memoria, el sistema primero busca en la base de la empresa los pasajes que parecen responder a la pregunta, se los entrega al modelo y le pide que escriba a partir de ellos.

El estudio de Stanford muestra dónde el examen a libro abierto todavía falla: la búsqueda trae un texto parecido que no se aplica al caso o una versión derogada de la regla, o el modelo lee el pasaje correcto y saca de él una conclusión equivocada (Magesh et al., 2025). En la empresa, el RAG traslada buena parte del problema a la base, como la política de descuento antigua que nadie archivó. Los requisitos de la base para la atención están en IA en la atención al cliente.

Por qué la revisión humana necesita método

Revisar lleva tiempo, porque cada afirmación y cada cita piden verificación. En un ejemplo ilustrativo, un agente que responde mil preguntas al mes con un 5% de error produce 50 respuestas equivocadas en el mismo tono seguro de las correctas. Por eso pido respuestas cortas, con el pasaje de la fuente al lado de cada afirmación, y la instrucción de decir que no encontró nada cuando la base no tenga la respuesta. Lo que el revisor verifica antes del envío debe estar escrito en la política de uso de IA.

Lo que estos datos no dicen

Ninguna de estas mediciones te da la tasa de error de la IA en tu empresa. Stanford usó preguntas jurídicas de Estados Unidos, en inglés, con versiones de 2024; Vectara mide solo resúmenes con el texto a mano, juzgados por un modelo; AA-Omniscience mide conocimiento sin fuente con una regla de puntuación propia.

La unidad también cambia. Stanford cuenta respuestas con al menos una alucinación, de modo que una respuesta larga con una frase equivocada cuenta entera, mientras otros tests cuentan afirmaciones. Dos mediciones vienen de empresas, Vectara y Artificial Analysis, lo que pide atención al método sin descartar el dato. El caso Mata v. Avianca ilustra cómo ocurre el error sin medir su frecuencia. Y los números envejecen rápido, porque cada actualización del ranking trae modelos nuevos que pueden equivocarse más que los anteriores. En las búsquedas que hice para este texto, no encontré fuente primaria para ninguna tasa general del tipo “la IA alucina en el X% de las respuestas”; lo que existe son tasas por tarea.

Qué hace el liderazgo con estos números

Este es el plan que propongo antes de dejar que la IA escriba algo que llega al cliente.

1. Mapea dónde la IA escribe hacia afuera. Lista propuestas, seguimientos, respuestas de tickets y cualquier texto con precio, plazo o condición, y clasifica cada uno por el costo de un error.
2. Mide la tasa de tu operación. Arma de 50 a 100 preguntas reales, con la respuesta correcta escrita antes del test, como hizo Stanford, y corre el agente sobre ellas antes de activarlo y en cada cambio de modelo o de base.
3. Da la fuente y prohíbe la respuesta sin fuente. Conecta el agente a la lista de precios, a la política vigente y a la base de producto.
4. Saca los números de las manos de la IA. Precio, descuento, plazo y alcance vienen de campos del CRM.
5. Revisa según el costo del error. Precio, condiciones y política pasan por una persona antes del envío; los resúmenes internos se revisan por muestreo semanal, contando afirmaciones equivocadas.
6. Dale un dueño a la base y al agente. Una persona responde por la base de conocimiento y otra por el agente, y ambas reciben la tasa de error del mes, como en el diseño de agentes de IA.

Lo que RR. HH. y capacitación necesitan considerar

El testimonio del abogado en el caso Mata v. Avianca muestra la brecha de formación: sabía usar la herramienta y no sabía que podía inventar una sentencia con número de proceso y nombre de juez. Lo que reduce el sesgo de automatización descrito por el NIST es la práctica de verificación, en la que el equipo aprende a pedir la fuente, a revisar si el pasaje citado dice lo que la respuesta afirma y a desconfiar de las premisas incorporadas en la propia pregunta. RR. HH. mide el efecto por la tasa de errores que llegaron al cliente, antes y después de la formación.

Las mediciones públicas muestran que la IA con fuente se equivoca menos que la IA de memoria y que ninguna llegó a cero, y el resultado depende de la base que la empresa mantiene y del método de quien revisa. Ese es el trabajo de la capacitación in company de IA aplicada, armada sobre los procesos y los datos de la empresa, con grupos para la dirección, los líderes y los equipos de ventas, marketing y CS. Entrega la biblioteca de prompts por área y la arquitectura de agentes, con lo que cada agente lee, lo que ejecuta solo y quién aprueba el resto, incluidas las reglas de fuente y de revisión.

Preguntas frecuentes

¿Qué es la alucinación de IA?

Es el contenido generado por la IA que está equivocado o no se apoya en la fuente, presentado con la misma confianza de una respuesta correcta. La literatura separa la alucinación que contradice la fuente de la que agrega algo imposible de verificar, y el NIST usa el término confabulación para el mismo fenómeno.

¿Cuánto se equivoca la IA generativa?

Depende de la tarea y de que la IA tenga la fuente. En el resumen de textos medido por Vectara, las tasas van del 1,8% al 24,2% entre 109 modelos; en preguntas jurídicas con búsqueda en una base, Stanford midió del 17% al 33%; en preguntas abiertas sin fuente, el AI Index registra del 22% al 94%. La tasa de tu operación solo aparece en un test con tus propias preguntas.

¿El RAG elimina la alucinación de IA?

No. En el test de Stanford, herramientas con búsqueda en una base jurídica se equivocaron menos que un modelo de uso general y aun así alucinaron en el 17% al 33% de las respuestas. El RAG reduce el error cuando la base está actualizada y la búsqueda trae el documento correcto, y por eso la calidad de la base se vuelve el principal punto de control.

¿Por qué la IA inventa información con tanta seguridad?

Los modelos generan texto prediciendo la siguiente palabra a partir de los patrones que aprendieron, y esa predicción puede producir una frase fluida y falsa. El tono de certeza es el mismo en los dos casos, y el NIST advierte que eso lleva a las personas a creer en el contenido y actuar sobre él.

¿La empresa responde por el error que comete la IA?

En el caso Mata v. Avianca, el tribunal sancionó a los abogados y al despacho porque les correspondía revisar lo que firmaron. Fuera de ese caso, la responsabilidad depende del contrato, del sector y de la legislación de cada país, y el área jurídica de la empresa debe participar en la definición de las reglas de revisión.

¿Cómo preparo a mi equipo para revisar lo que escribe la IA?

Entrena la verificación junto con el uso: pedir la fuente de cada afirmación, revisar si el pasaje citado sostiene la frase, desconfiar de las premisas incorporadas en la pregunta y saber qué nunca sale sin revisión, como precio, plazo y política. Mide antes y después la tasa de errores detectados en la revisión y la de errores que llegaron al cliente.