Alucinación de IA.

Modo de fallo en el que un sistema de IA generativa produce contenido fluido y confiado pero factualmente erróneo, inventado o sin respaldo en sus fuentes. Pertenece a la categoría de Seguridad de IA y ML en ciberseguridad.

Modo de fallo en el que un sistema de IA generativa produce contenido fluido y confiado pero factualmente erróneo, inventado o sin respaldo en sus fuentes.

Las alucinaciones surgen de la naturaleza estadística de los modelos generativos, que predicen continuaciones plausibles más que hechos verificados. Incluyen citas inventadas, parámetros de API ficticios, casos judiciales inexistentes (como en el incidente Mata vs. Avianca de 2023), números CVE imaginados o afirmaciones sin sustento en respuestas RAG. Se convierten en problema de seguridad cuando alguien actúa sobre la salida falsa: instalar un paquete npm que un LLM "slopsquatted" inventó, confiar en orientaciones legales fabricadas o escribir exploits sobre comportamientos imaginados. Las mitigaciones incluyen RAG con citas, salidas estructuradas, llamadas a herramientas para datos factuales, suites de evaluación (TruthfulQA, FActScore), abstención calibrada y revisión humana en dominios críticos.

Las defensas contra Alucinación de IA combinan habitualmente controles técnicos y prácticas operativas, como se detalla en la definición.

Nombres alternativos comunes: Alucinación de LLM, Confabulación.