Alucinação de IA.

Modo de falha em que um sistema de IA generativa produz conteúdo fluente e confiante mas factualmente errado, inventado ou sem suporte nas suas fontes. Pertence à categoria Segurança de IA e ML da cibersegurança.

Modo de falha em que um sistema de IA generativa produz conteúdo fluente e confiante mas factualmente errado, inventado ou sem suporte nas suas fontes.

As alucinações resultam da natureza estatística dos modelos generativos, que preveem continuações plausíveis e não factos verificados. Incluem citações inventadas, parâmetros de API fictícios, processos judiciais inexistentes (como Mata v. Avianca em 2023), números CVE imaginados ou afirmações sem suporte em respostas RAG. Tornam-se um problema de segurança quando os utilizadores agem sobre a saída falsa: instalar um pacote npm "slopsquatted" inventado por um LLM, confiar em orientações jurídicas fabricadas ou escrever exploits sobre comportamentos imaginados. As mitigações incluem RAG com citações, saídas estruturadas, chamadas a ferramentas para consulta de factos, suites de avaliação (TruthfulQA, FActScore), abstenção calibrada e revisão humana em domínios críticos.

As defesas contra Alucinação de IA costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.

Nomes alternativos comuns: Alucinação de LLM, Confabulação.