KI-Halluzination.

Fehlermodus, bei dem ein generatives KI-System flüssige, selbstbewusste Ausgaben erzeugt, die jedoch faktisch falsch, frei erfunden oder durch die Quellen nicht gedeckt sind. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.

Fehlermodus, bei dem ein generatives KI-System flüssige, selbstbewusste Ausgaben erzeugt, die jedoch faktisch falsch, frei erfunden oder durch die Quellen nicht gedeckt sind.

Halluzinationen ergeben sich aus der statistischen Natur generativer Modelle: Sie sagen plausible Fortsetzungen voraus, keine verifizierten Fakten. Dazu zählen erfundene Zitate, fiktive API-Parameter, nicht existente Gerichtsverfahren (etwa Mata v. Avianca, 2023), halluzinierte CVE-Nummern oder unbelegte Aussagen in RAG-Antworten. Sicherheitskritisch werden sie, sobald Anwender auf falsche Ausgaben reagieren — etwa ein vom LLM "slopsquatted" erfundenes npm-Paket installieren, einer erfundenen Rechtsauskunft folgen oder Exploit-Code auf imaginierten Verhalten aufbauen. Schutz bieten RAG mit Quellenangaben, strukturierte Ausgaben, Tool-Aufrufe für Faktenchecks, Evaluations-Suiten (TruthfulQA, FActScore), kalibrierte Enthaltung und menschliche Review in Hochrisikobereichen.

Schutzmaßnahmen gegen KI-Halluzination kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.

Übliche alternative Bezeichnungen: LLM-Halluzination, Konfabulation.