Alucinação de IA
O que é Alucinação de IA?
Alucinação de IAModo de falha em que um sistema de IA generativa produz conteúdo fluente e confiante mas factualmente errado, inventado ou sem suporte nas suas fontes.
As alucinações resultam da natureza estatística dos modelos generativos, que preveem continuações plausíveis e não factos verificados. Incluem citações inventadas, parâmetros de API fictícios, processos judiciais inexistentes (como Mata v. Avianca em 2023), números CVE imaginados ou afirmações sem suporte em respostas RAG. Tornam-se um problema de segurança quando os utilizadores agem sobre a saída falsa: instalar um pacote npm "slopsquatted" inventado por um LLM, confiar em orientações jurídicas fabricadas ou escrever exploits sobre comportamentos imaginados. As mitigações incluem RAG com citações, saídas estruturadas, chamadas a ferramentas para consulta de factos, suites de avaliação (TruthfulQA, FActScore), abstenção calibrada e revisão humana em domínios críticos.
● Exemplos
- 01
Um LLM cita um processo judicial de 2023 inexistente, com números de processo inventados.
- 02
Um assistente de código recomenda um pacote npm nunca publicado, abrindo caminho ao typosquatting.
● Perguntas frequentes
O que é Alucinação de IA?
Modo de falha em que um sistema de IA generativa produz conteúdo fluente e confiante mas factualmente errado, inventado ou sem suporte nas suas fontes. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Alucinação de IA?
Modo de falha em que um sistema de IA generativa produz conteúdo fluente e confiante mas factualmente errado, inventado ou sem suporte nas suas fontes.
Como se defender contra Alucinação de IA?
As defesas contra Alucinação de IA costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Alucinação de IA?
Nomes alternativos comuns: Alucinação de LLM, Confabulação.