Una IA puede redactar una respuesta convincente y, al mismo tiempo, incluir una característica de producto que no existe, una fecha incorrecta o una fuente inventada.
Para una empresa, el problema no es solo saber que esto puede ocurrir. Lo importante es responder una pregunta más concreta: ¿con qué frecuencia sucede en el proceso donde estamos utilizando la IA?
La tasa de alucinaciones permite medir ese problema sobre una muestra real. Para hacerlo necesitas definir qué considerarás una alucinación, establecer una fuente para verificar las respuestas y aplicar siempre el mismo criterio.
Tasa de alucinaciones = respuestas con al menos una alucinación ÷ respuestas revisadas × 100
Por ejemplo, si revisas 50 respuestas y 5 contienen información inventada o no respaldada, la tasa observada es del 10 %.
No existe un porcentaje único que indique cuánto “alucina la inteligencia artificial”. La medición cambia según el modelo, la tarea, las instrucciones, las fuentes disponibles y la forma de evaluar las respuestas.
Por eso, para una tienda, ecommerce, restaurante o empresa de servicios resulta más útil construir una tasa propia para cada caso de uso que copiar un porcentaje obtenido en un benchmark externo.
Si todavía estás definiendo procesos, responsables y controles, conviene revisar primero cómo implementar IA en un negocio con control y KPIs.
Qué es la tasa de alucinaciones de una IA
La expresión “alucinación” se utiliza para describir respuestas generadas por una IA que presentan como válida información que no está adecuadamente respaldada.
El benchmark académico HaluEval, por ejemplo, estudia contenido que entra en conflicto con una fuente o que no puede verificarse mediante conocimiento factual.
Para llevar el concepto al entorno empresarial podemos utilizar una definición operativa:
Una alucinación ocurre cuando la IA presenta como cierta una afirmación factual falsa, inventada, contradictoria o no respaldada por la fuente autorizada para realizar la tarea.
Esta definición permite convertir un concepto técnico en algo que un equipo puede revisar, registrar y medir.
Qué se considera una alucinación
Supongamos que una tienda utiliza inteligencia artificial para redactar fichas de producto.
La ficha técnica oficial indica:
- Capacidad: 2 litros.
- Garantía: 12 meses.
- Material: acero inoxidable.
La IA escribe:
“Incluye una garantía extendida de 24 meses”.
Ese dato contradice la fuente disponible. Para efectos del control, la ficha se clasificaría como respuesta con alucinación.
También puede ocurrir cuando una IA inventa una fecha, atribuye a un documento una política que nunca menciona, agrega una certificación inexistente o genera una referencia académica que no existe.
Qué errores no son necesariamente alucinaciones
Uno de los errores más frecuentes al crear este KPI es llamar “alucinación” a cualquier respuesta incorrecta.
No todo fallo de una IA es una alucinación.
| Situación | ¿Alucinación? |
|---|---|
| Inventa una característica del producto | Sí |
| Cita un estudio o fuente inexistente | Sí |
| Cambia una fecha sin respaldo | Sí |
| Omite una característica solicitada | No necesariamente |
| Entrega un texto demasiado largo | No |
| Usa un tono diferente al solicitado | No |
| Comete un error de formato | No |
| No sigue una instrucción del prompt | No necesariamente |
Una respuesta puede ser deficiente sin contener información inventada.
Esta diferencia es importante porque una empresa puede terminar con un KPI difícil de interpretar si mezcla errores factuales, omisiones, problemas de formato e incumplimientos de instrucciones dentro de un solo porcentaje.
La investigación académica también muestra que la factualidad no siempre puede evaluarse correctamente clasificando una respuesta completa como correcta o incorrecta. FActScore, por ejemplo, propone dividir textos extensos en hechos más pequeños para comprobar cuáles están respaldados por una fuente confiable.
Cómo se calcula la tasa de alucinaciones
Para gestión empresarial, la forma más sencilla consiste en medir cuántas respuestas contienen al menos una alucinación.
Tasa de alucinaciones = respuestas con al menos una alucinación ÷ respuestas revisadas × 100
Supongamos que revisas 100 respuestas y encuentras información inventada en 7.
7 ÷ 100 × 100 = 7 %
La tasa de alucinaciones observada en esa muestra es del 7 %.
Esto significa que 7 de cada 100 respuestas revisadas contenían al menos una afirmación clasificada como alucinación bajo el criterio definido.
No significa que el 7 % de todas las palabras, datos o afirmaciones generadas sean incorrectas.
Tasa de alucinaciones por respuesta
Es la opción más sencilla para un control operativo.
Tasa por respuesta = respuestas con alucinación ÷ respuestas revisadas × 100
Ejemplo:
- Respuestas revisadas: 50.
- Respuestas con alucinación: 4.
4 ÷ 50 × 100 = 8 %
Aunque una de esas cuatro respuestas contenga tres datos inventados, para esta métrica sigue contando como una respuesta con alucinación.
Este indicador responde una pregunta de gestión muy concreta:
¿Qué porcentaje de las respuestas generadas presenta al menos un problema de información inventada o no respaldada?
Tasa de alucinaciones por afirmación
También puedes medir el problema con mayor detalle:
Tasa por afirmación = afirmaciones alucinadas ÷ afirmaciones factuales revisadas × 100
Supongamos que 20 respuestas contienen en total 100 afirmaciones factuales verificables y 5 no están respaldadas.
5 ÷ 100 × 100 = 5 %
Este enfoque permite detectar cuánto contenido factual problemático existe dentro de las respuestas, incluso cuando una respuesta contiene información correcta e incorrecta al mismo tiempo.
La metodología de FActScore trabaja con una lógica relacionada: descompone una generación en hechos atómicos y analiza qué proporción está respaldada por una fuente de conocimiento.
Tasa por respuesta vs. tasa por afirmación
Las dos métricas son válidas, pero responden preguntas diferentes.
| Métrica | Qué mide | Cuándo puede ser útil |
|---|---|---|
| Tasa por respuesta | Porcentaje de respuestas con al menos una alucinación | Seguimiento operativo y controles periódicos |
| Tasa por afirmación | Porcentaje de afirmaciones factuales problemáticas | Auditorías detalladas o procesos de mayor riesgo |
Para una PYME que comienza a medir el problema, normalmente resulta más sencillo empezar con la tasa por respuesta.
Si las respuestas son extensas, contienen muchos datos o el proceso tiene un impacto importante, puede ser útil profundizar posteriormente a nivel de afirmación.
Cómo medir las alucinaciones de IA paso a paso
El cálculo matemático es sencillo. El trabajo importante consiste en decidir qué revisar, contra qué fuente y bajo qué criterio.
1. Define un caso de uso concreto
No intentes medir “la IA de la empresa” como si todos los procesos fueran iguales.
Selecciona una tarea específica.
Por ejemplo:
- Redacción de fichas de producto.
- Respuestas de atención al cliente.
- Resúmenes de contratos.
- Descripciones para ecommerce.
- Consultas sobre procedimientos internos.
- Preparación de reportes.
- Búsqueda de información en documentos.
Cada caso tiene fuentes, riesgos y tipos de respuestas diferentes.
Por eso conviene tener una tasa separada por proceso.
2. Define la fuente de verdad
Antes de decidir si una afirmación está inventada necesitas establecer contra qué información se verificará.
La fuente puede ser:
- El catálogo oficial.
- Una ficha técnica.
- El ERP.
- El CRM.
- Un contrato.
- Un manual.
- Una base de conocimiento aprobada.
- Una política interna.
- Un documento proporcionado expresamente a la IA.
Si estás evaluando descripciones de productos, por ejemplo, la referencia debería ser el catálogo o la ficha técnica aprobada.
No conviene clasificar una respuesta únicamente según si “parece correcta”. Siempre que sea posible, debe compararse contra información verificable.
3. Selecciona una muestra
No es necesario revisar miles de respuestas para comenzar.
Puedes seleccionar una muestra manejable del trabajo real, por ejemplo, 50 respuestas generadas durante una semana.
Lo importante es evitar escoger únicamente casos que sabemos que funcionaron bien o únicamente respuestas que ya fueron reportadas como problemáticas.
La muestra debe representar razonablemente el uso que quieres controlar.
4. Define qué contará como alucinación
Escribe el criterio antes de empezar la revisión.
Por ejemplo:
Marcar como alucinación cuando la respuesta incluya al menos una afirmación factual que sea falsa, contradiga la fuente autorizada o presente como cierto un dato que no está respaldado por ella.
También puedes establecer qué quedará fuera del indicador:
No contar como alucinación errores de formato, tono, extensión u omisiones, salvo que introduzcan una afirmación factual incorrecta.
Si cada persona utiliza una interpretación diferente, el porcentaje pierde consistencia y será más difícil compararlo en el tiempo.
5. Revisa y clasifica las respuestas
Para una medición básica puedes trabajar con tres estados:
- Sin alucinación.
- Con alucinación.
- No se puede determinar.
La tercera categoría resulta útil cuando la fuente disponible no permite comprobar una afirmación.
No conviene obligar al evaluador a marcar como correcto algo que realmente no puede verificar.
6. Calcula la tasa
Supongamos que revisaste 80 respuestas:
- 74 sin alucinaciones.
- 6 con alucinaciones.
El cálculo es:
6 ÷ 80 × 100 = 7,5 %
La tasa observada es del 7,5 %.
Para calcular la tasa de alucinaciones de una IA, divide el número de respuestas que contienen al menos una afirmación inventada o no respaldada entre el total de respuestas revisadas y multiplica el resultado por 100.
7. Registra las condiciones de la prueba
Un porcentaje aislado ofrece poca información si después no sabes bajo qué condiciones fue obtenido.
| Dato | Ejemplo |
|---|---|
| Caso de uso | Fichas de producto |
| Periodo | Agosto |
| Respuestas revisadas | 80 |
| Casos con alucinación | 6 |
| Tasa | 7,5 % |
| Modelo utilizado | Modelo A |
| Prompt o proceso | Versión 3 |
| Fuente utilizada para verificar | Catálogo oficial |
Esto permite repetir posteriormente la evaluación y determinar si los cambios realizados realmente mejoraron el resultado.
Si el uso de IA ya es recurrente, también conviene definir quién revisa estos indicadores y quién decide cuándo intervenir. Puedes ampliar este punto en la guía sobre el responsable de IA en una PYME y sus KPIs de control.
Ejemplo de cálculo de alucinaciones en un ecommerce
Imagina un ecommerce que utiliza IA para transformar información del catálogo en descripciones comerciales.
El equipo sospecha que algunas descripciones están agregando características que el proveedor nunca confirmó.
Decide revisar una muestra de 60 fichas.
La fuente utilizada para verificar será el catálogo oficial del proveedor.
El criterio queda definido así:
Una ficha se marca con alucinación si contiene al menos una característica, material, certificación, garantía o especificación técnica no respaldada por el catálogo.
Después de revisar las 60 fichas:
- 55 no tienen alucinaciones.
- 5 contienen al menos una.
El cálculo es:
5 ÷ 60 × 100 = 8,33 %
La empresa tiene una tasa observada de 8,33 % de fichas con alucinaciones en esa muestra.
Ahora el equipo ya tiene un dato sobre el cual actuar.
Puede identificar qué información fue inventada, ajustar las instrucciones utilizadas y repetir la prueba posteriormente.
El valor del indicador no está solamente en obtener un 8,33 %. Está en poder comparar resultados:
- Antes de la mejora: 8,33 %.
- Después de la mejora: 3,2 %.
Así, el control deja de depender de percepciones como “parece que la IA se equivoca menos” y pasa a formar parte de la gestión del proceso.
¿Existe una tasa de alucinaciones aceptable?
No existe un porcentaje universal que pueda utilizarse como referencia para cualquier empresa, modelo y tarea.
Los benchmarks académicos trabajan con conjuntos de datos, tipos de preguntas y métodos de evaluación específicos. Sus porcentajes no deberían trasladarse directamente a un proceso empresarial diferente.
HaluEval, por ejemplo, encontró contenido no verificable en aproximadamente el 19,5 % de determinadas consultas evaluadas en su estudio. Esa cifra corresponde a ese diseño experimental y no significa que cualquier uso de una IA tenga automáticamente una tasa de alucinaciones del 19,5 %.
Investigaciones posteriores continúan señalando que la evaluación depende de factores como el contexto, la tarea, las fuentes utilizadas y la calidad de los propios criterios de clasificación.
Por eso, no conviene comparar tu tasa empresarial directamente con un porcentaje encontrado en Internet.
Es más útil compararla con:
- Tu propia línea base.
- Periodos anteriores.
- Otro prompt bajo condiciones similares.
- Otro modelo evaluado con la misma muestra.
- Cambios realizados en el proceso.
Frecuencia no es lo mismo que riesgo
Dos procesos pueden tener exactamente la misma tasa de alucinaciones y requerir controles completamente diferentes.
Por ejemplo:
Proceso A: generación de ideas para publicaciones en redes sociales.
Proceso B: resumen de condiciones contractuales para el equipo comercial.
Supongamos que ambos presentan una tasa del 3 %.
La frecuencia es igual, pero el impacto potencial de un error no lo es.
Una tasa baja puede ser manejable en un borrador creativo que siempre será revisado. La misma tasa puede resultar demasiado alta si la respuesta contiene precios, condiciones contractuales, información financiera o datos que un cliente utilizará para tomar una decisión.
Por eso, además de medir la frecuencia del error, conviene definir qué procesos automatizar con IA y cuáles requieren revisión humana.
Qué hacer si la tasa de alucinaciones es alta
Medir solo tiene sentido si el resultado conduce a una decisión.
Si la tasa es mayor a la que tu empresa considera tolerable para ese proceso, no significa necesariamente que debas abandonar la herramienta o cambiar inmediatamente de modelo.
Primero identifica dónde se origina el problema.
Revisa las fuentes disponibles
Comprueba si la IA realmente dispone de la información necesaria para completar la tarea.
Si le solicitas datos que no aparecen en el documento, catálogo o contexto disponible, aumenta el riesgo de recibir información no respaldada.
Mejora las instrucciones y restricciones
Indica expresamente qué información debe utilizar la IA y qué debe hacer cuando un dato no esté disponible.
Por ejemplo:
“Utiliza únicamente los datos presentes en la ficha técnica. Si una característica no aparece, indica que no hay información disponible. No completes datos por inferencia”.
Esta instrucción ofrece mayor control que una petición genérica como:
“Crea una descripción completa de este producto”.
Si necesitas mejorar este punto, revisa cómo crear prompts de IA con instrucciones, contexto y restricciones claras.
Limita tareas demasiado abiertas
Cuando la precisión factual importa, conviene delimitar:
- La fuente que puede utilizarse.
- El formato esperado.
- Los datos permitidos.
- Las inferencias que no deben realizarse.
- Qué debe responder la IA cuando falta información.
Cuanto más claro sea el proceso, más sencillo será después comprobar si la herramienta cumplió correctamente.
Aumenta la revisión humana cuando el riesgo lo requiera
La revisión no tiene que ser igual en todos los procesos.
Un contenido interno de bajo impacto puede controlarse mediante muestras periódicas.
Una respuesta contractual, financiera o relacionada con condiciones ofrecidas a clientes puede necesitar aprobación antes de utilizarse.
La decisión debería depender del impacto del error, no solamente del porcentaje obtenido.
Vuelve a medir después del cambio
Después de modificar el prompt, la fuente, el modelo o el flujo de trabajo, repite la evaluación sobre una muestra comparable.
Sin una segunda medición no podrás saber si realmente mejoraste.
El ciclo correcto es:
Medir → identificar el problema → ajustar → volver a medir.
Errores comunes al medir las alucinaciones de una IA
1. Llamar alucinación a cualquier error
Esto mezcla problemas diferentes y dificulta saber qué debes corregir.
Cuando sea necesario, separa alucinaciones factuales, omisiones, problemas de formato, incumplimientos de instrucciones y errores de cálculo.
2. No definir una fuente para verificar
Si nadie sabe cuál es la información autorizada, la evaluación dependerá demasiado de la percepción de quien revisa.
3. Cambiar el criterio durante la revisión
El criterio debe establecerse antes de clasificar las respuestas.
Modificarlo cada vez que aparece un caso dudoso reduce la comparabilidad de los resultados.
4. Seleccionar únicamente casos problemáticos
Si revisas solo respuestas que alguien reportó como incorrectas, la muestra estará sesgada y la tasa obtenida no representará el uso normal del proceso.
5. Comparar tasas calculadas de forma diferente
Una tasa por respuesta no debe compararse directamente con una tasa por afirmación.
Tampoco conviene comparar porcentajes obtenidos con muestras, tareas y criterios completamente distintos.
6. Cambiar demasiadas variables al mismo tiempo
Si cambias modelo, prompt, fuente y proceso antes de repetir la evaluación, será difícil identificar qué ajuste produjo una mejora o un deterioro.
7. Utilizar únicamente otra IA para decidir si una respuesta alucinó
Los modelos pueden utilizarse como apoyo para detectar inconsistencias. SelfCheckGPT, por ejemplo, estudió cómo comparar múltiples generaciones puede ayudar a detectar afirmaciones no factuales cuando no existe una base externa disponible.
Sin embargo, que una IA repita consistentemente una afirmación no significa que esa afirmación sea verdadera.
Cuando existe una fuente oficial, conviene utilizarla como referencia principal.
La investigación publicada en Nature también muestra que bajo el concepto general de alucinación pueden existir mecanismos diferentes, por lo que no todos los errores deberían tratarse como un único fenómeno.
Checklist para medir la tasa de alucinaciones
Antes de convertir este indicador en un control recurrente, verifica:
- ¿Está definido el caso de uso que vas a evaluar?
- ¿Existe una fuente confiable para verificar las respuestas?
- ¿Está escrito el criterio de qué contará como alucinación?
- ¿Separaste las alucinaciones de otros tipos de error?
- ¿La muestra representa razonablemente el trabajo real?
- ¿Sabes cuántas respuestas fueron revisadas?
- ¿Registraste qué modelo y prompt fueron utilizados?
- ¿Podrás repetir la prueba bajo condiciones comparables?
- ¿Está definido qué hacer cuando aparezca una alucinación?
- ¿El nivel de revisión corresponde al impacto del proceso?
No necesitas un sistema complejo para empezar.
Una muestra útil, un criterio consistente y una fuente confiable aportan más información que un tablero lleno de indicadores difíciles de interpretar.
Calculadora de tasa de alucinaciones de IA
Para calcular la tasa solo necesitas dos datos:
- Número total de respuestas revisadas.
- Número de respuestas con al menos una alucinación.
Aplica la fórmula:
Casos con alucinación ÷ casos revisados × 100
Por ejemplo:
| Respuestas revisadas | Con alucinación | Tasa |
|---|---|---|
| 50 | 3 | 6 % |
| 100 | 8 | 8 % |
| 200 | 10 | 5 % |
Importante: esta fórmula mide respuestas que contienen al menos una alucinación. No es equivalente a calcular el porcentaje de afirmaciones individuales incorrectas.
Cuando tengas tus datos, puedes utilizar esta fórmula para calcular tu tasa de alucinaciones y conservar el resultado como línea base para futuras mediciones.
Preguntas frecuentes sobre la tasa de alucinaciones de IA
¿Qué significa que una IA alucine?
Significa que genera y presenta como válida información factual falsa, inventada, contradictoria o no respaldada por la fuente que debía utilizar. No todos los errores de una IA son necesariamente alucinaciones.
¿Cómo se calcula la tasa de alucinaciones?
Divide el número de respuestas que contienen al menos una alucinación entre el total de respuestas revisadas y multiplica el resultado por 100.
Tasa de alucinaciones = respuestas con alucinación ÷ respuestas revisadas × 100.
¿Qué porcentaje de alucinaciones es aceptable?
No existe un porcentaje universal. El nivel tolerable depende del tipo de proceso, el impacto potencial de un error y los controles existentes. Una tasa que puede resultar manejable en contenido creativo puede ser inaceptable en información contractual, financiera o técnica.
¿Una respuesta incorrecta siempre es una alucinación?
No. Una IA también puede cometer errores de cálculo, omitir información, no seguir una instrucción o utilizar un formato incorrecto sin haber inventado información factual.
¿Necesito revisar todas las respuestas de la IA?
No necesariamente. En procesos de riesgo moderado puedes utilizar muestras periódicas. Cuando un error puede tener consecuencias relevantes para clientes, contratos, finanzas o decisiones importantes, puede ser necesaria una revisión más estricta.
Mide primero para poder mejorar después
Las alucinaciones dejan de ser un problema abstracto cuando las conviertes en un indicador vinculado a un proceso concreto.
No necesitas saber cuánto “alucina la inteligencia artificial en general”.
Necesitas saber con qué frecuencia aparecen afirmaciones inventadas o no respaldadas en el sistema que utilizas, para la tarea que le asignaste y bajo las condiciones reales de tu empresa.
Empieza con un solo caso de uso. Define la fuente correcta, selecciona una muestra, establece el criterio y calcula la tasa.
Después modifica el proceso y vuelve a medir.
Así podrás comprobar si los cambios realmente reducen la información inventada y decidir dónde necesitas controles adicionales o revisión humana.
Si el siguiente paso es ampliar el uso de estas herramientas a otros procesos, revisa cómo implementar IA en tu negocio de forma ordenada y cómo definir qué tareas conviene automatizar con IA y cuáles necesitan supervisión.
Fuentes consultadas
- HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models, EMNLP 2023.
- FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation, EMNLP 2023.
- SelfCheckGPT: Zero-Resource Black-Box Hallucination Detection for Generative Large Language Models, EMNLP 2023.
- Detecting hallucinations in large language models using semantic entropy, Nature, 2024.
- HalluLens: LLM Hallucination Benchmark, ACL 2025.
- Rethinking Evaluation for LLM Hallucination Detection, ACL 2026.
Discover more from
Subscribe to get the latest posts sent to your email.
