Hallucination de l'IA
Qu'est-ce que Hallucination de l'IA ?
Hallucination de l'IAMode de défaillance dans lequel un système d'IA générative produit un contenu fluide et assuré mais factuellement faux, inventé ou non étayé par ses sources.
Les hallucinations découlent de la nature statistique des modèles génératifs : ils prédisent des continuations plausibles plutôt que des faits vérifiés. Cela inclut citations inventées, paramètres d'API fictifs, affaires judiciaires inexistantes (cas Mata vs Avianca, 2023), numéros CVE imaginaires ou affirmations sans appui dans les réponses RAG. Elles deviennent un problème de sécurité dès qu'on agit sur la sortie : installer un paquet npm "slopsquatté" qu'un LLM a inventé, suivre des conseils juridiques fabriqués, écrire des exploits sur des comportements imaginés. Les parades incluent RAG avec citations, sorties structurées, appels d'outils pour la vérification factuelle, jeux d'évaluation (TruthfulQA, FActScore), abstention calibrée et revue humaine pour les domaines à fort enjeu.
● Exemples
- 01
Un LLM qui cite une affaire judiciaire 2023 inexistante, avec numéros de rôle inventés.
- 02
Un assistant de code recommande un paquet npm jamais publié, ouvrant la voie au typosquatting.
● Questions fréquentes
Qu'est-ce que Hallucination de l'IA ?
Mode de défaillance dans lequel un système d'IA générative produit un contenu fluide et assuré mais factuellement faux, inventé ou non étayé par ses sources. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.
Que signifie Hallucination de l'IA ?
Mode de défaillance dans lequel un système d'IA générative produit un contenu fluide et assuré mais factuellement faux, inventé ou non étayé par ses sources.
Comment fonctionne Hallucination de l'IA ?
Les hallucinations découlent de la nature statistique des modèles génératifs : ils prédisent des continuations plausibles plutôt que des faits vérifiés. Cela inclut citations inventées, paramètres d'API fictifs, affaires judiciaires inexistantes (cas Mata vs Avianca, 2023), numéros CVE imaginaires ou affirmations sans appui dans les réponses RAG. Elles deviennent un problème de sécurité dès qu'on agit sur la sortie : installer un paquet npm "slopsquatté" qu'un LLM a inventé, suivre des conseils juridiques fabriqués, écrire des exploits sur des comportements imaginés. Les parades incluent RAG avec citations, sorties structurées, appels d'outils pour la vérification factuelle, jeux d'évaluation (TruthfulQA, FActScore), abstention calibrée et revue humaine pour les domaines à fort enjeu.
Comment se défendre contre Hallucination de l'IA ?
Les défenses contre Hallucination de l'IA combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.
Quels sont les autres noms de Hallucination de l'IA ?
Noms alternatifs courants : Hallucination LLM, Confabulation.
● Termes liés
- ai-security№ 898
Sécurité RAG
Discipline visant à sécuriser les pipelines de génération augmentée par récupération afin que les documents, stores vectoriels et étapes de retrieval qui alimentent un LLM ne puissent pas être empoisonnés, détournés ou utilisés pour exfiltrer des données.
- ai-security№ 033
Safety de l'IA
Discipline visant à éviter que les systèmes d'IA causent des préjudices non intentionnels aux utilisateurs, opérateurs et à la société, sur les plans technique, opérationnel et sociétal.
- ai-security№ 026
Détection de contenus générés par IA
Outils et techniques qui estiment si un texte, une image, un audio ou une vidéo a été produit par un modèle d'IA plutôt que par un humain.
- ai-security№ 034
Risque de chaîne d'approvisionnement IA
Ensemble de menaces issues des datasets, modèles de base, bibliothèques, plug-ins et infrastructures tiers que les organisations combinent pour construire et déployer des systèmes d'IA.
- ai-security№ 777
OWASP LLM Top 10
Liste maintenue par l'OWASP recensant les dix risques de sécurité les plus critiques pour les applications bâties sur de grands modèles de langage.
- ai-security№ 618
Guardrails LLM
Mécanismes qui restreignent ce qu'une application LLM peut recevoir ou produire en appliquant des règles de safety, sécurité et métier autour du modèle sous-jacent.
● Voir aussi
- № 024Alignement de l'IA