Una IA puede generar una respuesta convincente y, al mismo tiempo, incluir una característica de producto que no existe, una fecha incorrecta o una fuente inventada.
Para una empresa, el problema no es solamente saber que esto puede ocurrir. Lo importante es responder una pregunta concreta: ¿con qué frecuencia aparecen errores factuales en el proceso donde estamos utilizando la IA?
La tasa de alucinaciones permite convertir ese problema en un indicador que puedes medir sobre una muestra real. Para hacerlo correctamente necesitas definir qué considerarás una alucinación, establecer cómo verificarás las respuestas y aplicar el mismo criterio durante toda la medición.
Tasa de alucinaciones = respuestas con al menos una alucinación ÷ respuestas evaluables × 100
La clave está en las respuestas evaluables. Si algunas respuestas no pueden verificarse por falta de evidencia suficiente, no deben contarse automáticamente como correctas ni como alucinaciones.
En esta guía encontrarás cómo calcular la tasa de alucinaciones, construir una muestra, clasificar las respuestas y utilizar el indicador para mejorar un proceso empresarial.
No existe un porcentaje único que indique cuánto “alucina” una inteligencia artificial. El resultado depende del modelo, la tarea, las instrucciones, las fuentes disponibles, la muestra y el método utilizado para evaluar las respuestas.
Por eso, para una tienda, ecommerce, restaurante o empresa de servicios resulta más útil construir una medición propia para cada caso de uso que copiar un porcentaje obtenido en un benchmark externo.
Si todavía estás definiendo procesos, responsables y controles para utilizar IA, puedes revisar primero cómo implementar IA en un negocio con control y KPIs.
Qué es la tasa de alucinaciones de una IA
La tasa de alucinaciones es un indicador que muestra qué proporción de las respuestas evaluadas contiene al menos una afirmación factual que cumple el criterio de alucinación definido para un determinado caso de uso.
El concepto de alucinación se utiliza en la investigación sobre modelos de lenguaje para describir, entre otros casos, información generada que entra en conflicto con una fuente o que no puede verificarse. El benchmark HaluEval estudia precisamente este tipo de comportamiento.
Para llevar el concepto al entorno empresarial conviene establecer una definición operativa:
Para esta medición, una alucinación es una afirmación factual que resulta falsa, inventada o contradictoria con la evidencia confiable utilizada para verificar la tarea.
Esta definición permite separar el problema de otros fallos de una IA y construir un indicador que pueda repetirse en el tiempo.
Qué se considera una alucinación
Supongamos que una tienda utiliza inteligencia artificial para redactar fichas de producto.
La ficha técnica oficial indica:
- Capacidad: 2 litros.
- Garantía: 12 meses.
- Material: acero inoxidable.
La IA escribe:
“Incluye una garantía extendida de 24 meses”.
La afirmación contradice la fuente disponible. Para efectos del control, esa respuesta contiene una alucinación.
Otros ejemplos serían inventar una fecha, atribuir a una política una condición que no existe, agregar una certificación inexistente o crear una referencia académica que no puede encontrarse.
Qué errores no son necesariamente alucinaciones
No todo error de una IA es una alucinación. Si mezclas diferentes tipos de fallo dentro del mismo indicador, después será difícil saber qué necesitas corregir.
| Situación | Clasificación |
|---|---|
| Inventa una característica del producto | Alucinación |
| Cita una fuente inexistente | Alucinación |
| Presenta una fecha que contradice la fuente | Alucinación |
| Omite una característica solicitada | No necesariamente alucinación |
| Utiliza un tono diferente al solicitado | No es necesariamente una alucinación |
| Comete un error de formato | No es una alucinación |
| No sigue una instrucción del prompt | No necesariamente alucinación |
| Comete un error de cálculo | Registrar como error de cálculo, salvo que además exista una afirmación factual inventada |
La separación es importante porque factualidad, cumplimiento de instrucciones, formato y calidad general son dimensiones diferentes.
Alucinación no es lo mismo que información que no aparece en la fuente
Este punto es especialmente importante cuando la IA trabaja con documentos proporcionados por la empresa.
| Situación | Cómo tratarla |
|---|---|
| La afirmación contradice la fuente | Puede clasificarse como alucinación |
| La afirmación es demostrablemente falsa | Puede clasificarse como alucinación |
| La afirmación no aparece en la fuente, pero puede verificarse como verdadera mediante otra evidencia | No es necesariamente una alucinación; puede ser un problema de fidelidad a la fuente |
| No existe evidencia suficiente para comprobar la afirmación | Clasificar como no determinable |
La investigación reciente ha mostrado que una respuesta puede contener información correcta que simplemente no está presente en la fuente utilizada para evaluarla. Por eso, ausencia en una fuente y falsedad no son necesariamente lo mismo. El trabajo Fine-Grained Detection of Context-Grounded Hallucinations Using LLMs estudia precisamente esta dificultad.
También existe el problema inverso: una IA puede “corregir” una información incorrecta presente en el documento cuando la tarea exigía resumirlo fielmente. En ese caso, la respuesta puede ser verdadera respecto al mundo y, al mismo tiempo, no ser fiel a la fuente. Este fenómeno ha sido estudiado como Harmful Factuality.
Cómo calcular la tasa de alucinaciones
Para calcular este indicador a nivel de respuesta necesitas distinguir entre las respuestas revisadas y las respuestas que realmente pudieron evaluarse.
Primero calcula las respuestas evaluables:
Respuestas evaluables = respuestas revisadas − respuestas no determinables
Después aplica:
Tasa de alucinaciones = respuestas con al menos una alucinación ÷ respuestas evaluables × 100
Por ejemplo, supongamos que revisas 100 respuestas:
- 88 no contienen alucinaciones.
- 7 contienen al menos una alucinación.
- 5 no pueden determinarse porque no existe evidencia suficiente.
Las respuestas evaluables son:
100 − 5 = 95
Por tanto:
7 ÷ 95 × 100 = 7,37 %
La tasa observada de alucinaciones es del 7,37 %.
La tasa de respuestas no determinables es otro indicador:
5 ÷ 100 × 100 = 5 %
Así puedes distinguir entre el porcentaje de respuestas con alucinaciones y el porcentaje de respuestas que no pudieron evaluarse.
Tasa por respuesta
La tasa por respuesta considera que una respuesta tiene o no tiene al menos una alucinación.
Si una respuesta contiene tres datos inventados, sigue contando como una respuesta con alucinación.
Por eso es una métrica sencilla para comenzar un control operativo, aunque no indica cuántos errores contiene cada respuesta.
Tasa por afirmación
Cuando las respuestas son largas o contienen muchos datos verificables, puedes analizar las afirmaciones individuales.
Tasa por afirmación = afirmaciones con error factual ÷ afirmaciones factuales evaluables × 100
Supongamos que 20 respuestas contienen 100 afirmaciones factuales evaluables y 5 presentan un error factual:
5 ÷ 100 × 100 = 5 %
Este enfoque proporciona mayor detalle porque una respuesta puede contener una sola afirmación problemática o varias.
FActScore utiliza una lógica relacionada al descomponer generaciones largas en hechos atómicos para evaluar qué proporción está respaldada por una fuente.
| Métrica | Qué responde | Uso recomendado |
|---|---|---|
| Tasa por respuesta | ¿Qué porcentaje de respuestas presenta al menos una alucinación? | Control operativo periódico |
| Tasa por afirmación | ¿Qué porcentaje de afirmaciones evaluadas presenta un error factual? | Auditorías más detalladas |
| Tasa de indeterminación | ¿Qué porcentaje de respuestas no pudo evaluarse? | Controlar la calidad de la evidencia disponible |
Para una PYME que comienza a medir el problema, la tasa por respuesta suele ser la opción más sencilla.
Cómo medir las alucinaciones de IA paso a paso
El cálculo es sencillo. La parte importante consiste en diseñar correctamente la evaluación.
1. Define un caso de uso concreto
No intentes medir “la IA de la empresa” como si todos los procesos fueran iguales.
Selecciona una tarea específica, por ejemplo:
- Redacción de fichas de producto.
- Respuestas de atención al cliente.
- Resúmenes de documentos.
- Descripciones para ecommerce.
- Consultas sobre procedimientos internos.
- Preparación de reportes.
Cada caso puede tener fuentes, riesgos y criterios de evaluación diferentes.
2. Define la fuente de verificación
Antes de revisar las respuestas debes saber contra qué información comprobarás los datos.
Puede ser:
- Catálogo oficial.
- Ficha técnica.
- ERP.
- CRM.
- Contrato.
- Manual interno.
- Política aprobada.
- Base de conocimiento.
- Documento proporcionado expresamente para la tarea.
Si el proceso requiere información externa, utiliza fuentes confiables y adecuadas al tema.
No conviene decidir que una respuesta es correcta simplemente porque “suena bien”. Siempre que sea posible, debe existir evidencia para justificar la clasificación.
3. Selecciona una muestra
No necesitas revisar miles de respuestas para comenzar un control interno.
Puedes seleccionar, por ejemplo, 50 respuestas generadas durante una semana y utilizar esa muestra como punto de partida.
Este número es solamente un ejemplo operativo; no representa un tamaño universal ni garantiza por sí mismo una precisión estadística determinada.
La muestra debe representar razonablemente el uso real del proceso. Evita seleccionar únicamente respuestas que ya fueron reportadas como problemáticas o únicamente casos que sabes que funcionaron bien.
4. Define el criterio de clasificación
Establece el criterio antes de comenzar la revisión.
Marcar como alucinación cuando exista al menos una afirmación factual que pueda demostrarse falsa, inventada o contradictoria con la evidencia definida para ese caso de uso.
Y establece qué hacer cuando la evidencia no sea suficiente:
Clasificar como no determinable cuando la evidencia disponible no permita establecer razonablemente si la afirmación es correcta o incorrecta.
Esto evita convertir la falta de evidencia en una falsa clasificación de “correcto” o “alucinación”.
5. Revisa y clasifica las respuestas
Para una medición básica puedes utilizar tres estados:
- Sin alucinación: no se identificó ninguna afirmación factual falsa, inventada o contradictoria bajo el criterio establecido.
- Con alucinación: existe al menos una afirmación factual que cumple el criterio.
- No determinable: la evidencia disponible no permite establecer la clasificación.
Los errores de formato, tono, extensión u obediencia a instrucciones pueden registrarse por separado cuando sean relevantes para el proceso.
6. Registra las condiciones de la evaluación
Un porcentaje aislado dice poco si después no sabes cómo fue obtenido.
| Dato | Ejemplo |
|---|---|
| Caso de uso | Fichas de producto |
| Periodo | Septiembre |
| Respuestas revisadas | 100 |
| Respuestas con alucinación | 7 |
| Respuestas no determinables | 5 |
| Respuestas evaluables | 95 |
| Tasa de alucinaciones | 7,37 % |
| Modelo | Modelo A |
| Prompt o proceso | Versión 3 |
| Fuente de verificación | Catálogo oficial |
Registrar estas variables permite repetir posteriormente la evaluación y comparar resultados bajo condiciones similares.
7. Repite la medición después de realizar cambios
Si modificas el prompt, las fuentes, el modelo o el flujo de trabajo, vuelve a medir.
Siempre que sea posible, utiliza una muestra y un criterio comparables.
Si cambias simultáneamente demasiadas variables, será más difícil identificar qué modificación estuvo asociada con la variación observada.
El ciclo básico es:
Medir → identificar el problema → ajustar → volver a medir.
Ejemplo de cálculo de alucinaciones en un ecommerce
Imagina un ecommerce que utiliza IA para transformar información de su catálogo en descripciones comerciales.
El equipo quiere saber si el sistema está agregando características que el proveedor nunca confirmó.
Decide revisar una muestra de 60 fichas y utiliza el catálogo oficial del proveedor como fuente de verificación.
El criterio es:
Una ficha se clasifica con alucinación si contiene al menos una característica, material, certificación, garantía o especificación técnica que pueda demostrarse falsa o contradictoria con el catálogo.
Después de revisar las 60 fichas:
- 52 no presentan alucinaciones.
- 5 presentan al menos una alucinación.
- 3 no pueden determinarse por falta de evidencia suficiente.
Las fichas evaluables son:
60 − 3 = 57
La tasa de alucinaciones es:
5 ÷ 57 × 100 = 8,77 %
La empresa tiene una tasa observada de 8,77 % en esa muestra.
También tiene una tasa de indeterminación de:
3 ÷ 60 × 100 = 5 %
El siguiente paso no debería ser simplemente cambiar de herramienta. El equipo puede analizar cuáles fueron las afirmaciones problemáticas, revisar las instrucciones utilizadas y volver a medir después del ajuste.
Si posteriormente obtiene una tasa de 4,2 % bajo condiciones comparables, tendrá evidencia de que el resultado observado cambió. Aun así, para atribuir el cambio a una modificación concreta conviene controlar las demás variables relevantes.
¿Existe una tasa de alucinaciones aceptable?
No existe un porcentaje universal que pueda utilizarse como referencia para cualquier empresa, modelo y tarea.
Los benchmarks académicos utilizan datasets, tareas, modelos y protocolos de evaluación específicos. Por eso, sus resultados no deben trasladarse directamente a un proceso empresarial diferente.
HaluEval, por ejemplo, encontró que ChatGPT generaba información no verificable en aproximadamente el 19,5 % de determinadas consultas dentro de su estudio. Ese resultado pertenece a las condiciones de ese benchmark y no significa que cualquier empresa o herramienta tenga una tasa de alucinaciones del 19,5 %.
La investigación posterior también ha mostrado que la evaluación depende de la tarea, la fuente, el contexto y el método utilizado. El trabajo Rethinking Hallucinations: Correctness, Consistency, and Prompt Multiplicity señala además que la consistencia de las respuestas puede variar con la formulación de los prompts, lo que es otra razón para no interpretar un único resultado como una propiedad fija del modelo.
Para una empresa resulta más útil establecer una línea base propia y comparar mediciones realizadas sobre el mismo proceso y bajo condiciones suficientemente similares.
Frecuencia no es lo mismo que riesgo
Dos procesos pueden tener la misma tasa de alucinaciones y, sin embargo, requerir controles diferentes.
Por ejemplo:
- Proceso A: generación de ideas para publicaciones.
- Proceso B: resumen de condiciones contractuales para el equipo comercial.
Supongamos que ambos presentan una tasa del 3 %.
La frecuencia observada es igual, pero el impacto potencial de un error puede ser diferente.
Por eso, el indicador debe interpretarse junto con el impacto del proceso, el tipo de información involucrada y los controles existentes.
Esta consideración también ayuda a decidir qué tareas conviene automatizar con IA y cuáles necesitan supervisión.
Qué hacer si la tasa de alucinaciones es alta
El objetivo del indicador no es solamente producir un porcentaje. Debe ayudarte a identificar qué parte del proceso necesita atención.
Revisa las fuentes disponibles
Comprueba si la IA dispone de la información necesaria para completar la tarea.
Si la fuente está incompleta, desactualizada o es ambigua, mejorar solamente el prompt puede no resolver el problema.
Mejora las instrucciones
Indica expresamente qué información puede utilizar la IA y qué debe hacer cuando un dato no esté disponible.
“Utiliza únicamente los datos presentes en la ficha técnica. Si una característica no aparece, indica que no hay información disponible. No completes datos por inferencia”.
Una instrucción de este tipo delimita mejor la tarea que una petición genérica como “crea una descripción completa”.
Si necesitas profundizar en este aspecto, revisa cómo crear prompts de IA para empresas.
Limita las tareas demasiado abiertas
Cuando la precisión factual importa, delimita:
- La fuente que puede utilizarse.
- Los datos permitidos.
- Las inferencias que no deben realizarse.
- Qué debe responder cuando falta información.
- Cuándo debe solicitar revisión humana.
Cuanto más claro sea el proceso, más sencillo será comprobar posteriormente si la respuesta cumple los criterios definidos.
Aumenta la revisión humana cuando el riesgo lo requiera
La revisión no tiene que ser igual para todos los procesos.
Un contenido creativo de bajo impacto puede controlarse mediante muestras periódicas. Una respuesta relacionada con contratos, finanzas, precios o condiciones ofrecidas a clientes puede requerir una revisión antes de utilizarse.
La decisión debería considerar tanto la frecuencia observada como el impacto potencial del error.
También conviene definir quién es responsable de supervisar el uso de IA y sus indicadores. Para ello puedes revisar la guía sobre el responsable de IA en una PYME y sus KPIs.
Vuelve a medir después del cambio
Después de modificar el prompt, las fuentes, el modelo o el flujo de trabajo, repite la evaluación.
Si el resultado cambia bajo condiciones comparables, podrás saber que el comportamiento observado también cambió. Si además mantienes constantes las demás variables relevantes, será más sencillo relacionar la variación con el ajuste realizado.
Errores comunes al medir las alucinaciones de una IA
1. Utilizar cualquier error como alucinación
Esto mezcla factualidad con formato, instrucciones, tono u otros aspectos de calidad. Define qué entra realmente en el indicador.
2. No establecer una fuente de verificación
Si cada evaluador utiliza una fuente diferente, los resultados pueden dejar de ser comparables.
3. Contar como correcta una respuesta que no puede verificarse
La ausencia de evidencia no demuestra que una afirmación sea verdadera. Utiliza una categoría de no determinable cuando realmente no puedas establecer el resultado.
4. Utilizar solamente otra IA como juez
Una IA puede ayudar a localizar posibles inconsistencias, pero no debería convertirse automáticamente en la única fuente de verdad. SelfCheckGPT estudió métodos de detección basados en comparar múltiples generaciones, pero la consistencia entre respuestas tampoco demuestra por sí misma que una afirmación sea verdadera.
Cuando exista una fuente oficial o evidencia verificable, utilízala como referencia principal.
Checklist para medir la tasa de alucinaciones
Antes de convertir este indicador en un control periódico, verifica:
- ¿Está definido el caso de uso?
- ¿Existe una fuente confiable para verificar las respuestas?
- ¿Está definido qué contará como alucinación?
- ¿Separaste las alucinaciones de otros tipos de error?
- ¿Definiste qué hacer cuando una respuesta no puede determinarse?
- ¿La muestra representa razonablemente el trabajo real?
- ¿Registraste el número de respuestas revisadas?
- ¿Registraste las respuestas no determinables?
- ¿Registraste el modelo y el prompt o proceso utilizado?
- ¿Puedes repetir la medición bajo condiciones comparables?
- ¿Está definido qué hacer cuando aparece una alucinación?
- ¿El nivel de revisión corresponde al impacto del proceso?
No necesitas un sistema complejo para empezar. Una muestra útil, un criterio consistente y una fuente confiable permiten construir una primera línea base.
Cómo interpretar el resultado
Una tasa de alucinaciones debe interpretarse junto con el tamaño de la muestra, el caso de uso, el criterio de evaluación y la evidencia utilizada.
| Resultado | Interpretación |
|---|---|
| 5 % en 100 respuestas evaluables | 5 respuestas contienen al menos una alucinación |
| 5 % en 20 respuestas evaluables | 1 respuesta contiene al menos una alucinación |
| 5 % con otro criterio | No debe compararse directamente sin revisar la metodología |
Un mismo porcentaje puede representar cantidades diferentes de casos. Además, una medición empresarial y un benchmark académico pueden estar construidos sobre tareas y criterios completamente distintos.
Por eso, utiliza el indicador principalmente para comparar el mismo proceso consigo mismo a lo largo del tiempo o para comparar alternativas bajo condiciones equivalentes.
Preguntas frecuentes sobre la tasa de alucinaciones de IA
¿Qué significa que una IA alucine?
Significa que genera una afirmación factual falsa, inventada o contradictoria con la evidencia utilizada para verificar la tarea. No todos los errores de una IA son necesariamente alucinaciones.
¿Cómo se calcula la tasa de alucinaciones?
Divide las respuestas con al menos una alucinación entre las respuestas evaluables y multiplica por 100.
Tasa de alucinaciones = respuestas con alucinación ÷ respuestas evaluables × 100.
¿Qué son las respuestas evaluables?
Son las respuestas que pueden clasificarse razonablemente como con o sin alucinación. Si una respuesta no puede comprobarse por falta de evidencia suficiente, debe registrarse como no determinable y excluirse del denominador.
¿Qué porcentaje de alucinaciones es aceptable?
No existe un porcentaje universal. El nivel tolerable depende del tipo de proceso, el impacto potencial del error, la calidad de las fuentes y los controles existentes.
¿Una respuesta incorrecta siempre es una alucinación?
No. Puede tratarse de un error de cálculo, una omisión, un problema de formato o un incumplimiento de instrucciones. Conviene registrarlos por separado cuando sean relevantes.
¿Necesito revisar todas las respuestas de la IA?
No necesariamente. Puedes utilizar muestras periódicas para controlar un proceso. Cuando el impacto potencial del error sea elevado, puede ser necesario aplicar controles más estrictos o revisión humana antes de utilizar la respuesta.
Mide primero para poder mejorar después
Las alucinaciones dejan de ser un problema abstracto cuando las conviertes en un indicador vinculado a un proceso concreto.
No necesitas saber cuánto “alucina la inteligencia artificial” en general.
Necesitas saber con qué frecuencia aparecen errores factuales en el sistema que utilizas, para la tarea que le asignaste y bajo las condiciones reales de tu empresa.
Empieza con un caso de uso concreto. Define la evidencia que utilizarás, establece el criterio de evaluación, selecciona una muestra y registra también los casos que no puedan determinarse.
Después modifica el proceso y vuelve a medir.
De esta manera, la tasa de alucinaciones se convierte en un indicador para detectar problemas, comparar cambios y decidir dónde necesitas mejores fuentes, instrucciones o supervisión humana.
Si vas a ampliar el uso de IA dentro de tu empresa, puedes continuar con cómo implementar IA en tu negocio y con la definición de qué tareas automatizar y cuáles supervisar.
Fuentes consultadas
- HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models — Junyi Li, Xiaoxue Cheng, Xin Zhao, Jian-Yun Nie y Ji-Rong Wen, EMNLP, 2023.
- FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation — Sewon Min et al., EMNLP, 2023.
- SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models — Potsawee Manakul, Adian Liusie y Mark Gales, EMNLP, 2023.
- Detecting hallucinations in large language models using semantic entropy — Sebastian Farquhar et al., Nature, 2024.
- Fine-Grained Detection of Context-Grounded Hallucinations Using LLMs — Yehonatan Peisakhovsky et al., Findings of ACL, 2026.
- Harmful Factuality: LLMs Correcting What They Shouldn’t — Mingchen Li et al., Findings of EACL, 2026.
- FactSelfCheck: Fact-Level Black-Box Hallucination Detection for LLMs — Albert Sawczyn et al., Findings of EACL, 2026.
- Rethinking Hallucinations: Correctness, Consistency, and Prompt Multiplicity — Prakhar Ganesh, Reza Shokri y Golnoosh Farnadi, EACL, 2026.
- Rethinking Evaluation for LLM Hallucination Detection: A Desiderata, A New RAG-based Benchmark, New Insights — Wenbo Chen et al., ACL, 2026.
Discover more from
Subscribe to get the latest posts sent to your email.
