KI-Halluzination
Was ist KI-Halluzination?
KI-HalluzinationFehlermodus, bei dem ein generatives KI-System flüssige, selbstbewusste Ausgaben erzeugt, die jedoch faktisch falsch, frei erfunden oder durch die Quellen nicht gedeckt sind.
Halluzinationen ergeben sich aus der statistischen Natur generativer Modelle: Sie sagen plausible Fortsetzungen voraus, keine verifizierten Fakten. Dazu zählen erfundene Zitate, fiktive API-Parameter, nicht existente Gerichtsverfahren (etwa Mata v. Avianca, 2023), halluzinierte CVE-Nummern oder unbelegte Aussagen in RAG-Antworten. Sicherheitskritisch werden sie, sobald Anwender auf falsche Ausgaben reagieren — etwa ein vom LLM "slopsquatted" erfundenes npm-Paket installieren, einer erfundenen Rechtsauskunft folgen oder Exploit-Code auf imaginierten Verhalten aufbauen. Schutz bieten RAG mit Quellenangaben, strukturierte Ausgaben, Tool-Aufrufe für Faktenchecks, Evaluations-Suiten (TruthfulQA, FActScore), kalibrierte Enthaltung und menschliche Review in Hochrisikobereichen.
● Beispiele
- 01
Ein LLM zitiert einen nicht existenten Gerichtsfall von 2023 inklusive erfundener Aktenzeichen.
- 02
Ein Coding-Assistent empfiehlt einen npm-Paketnamen, den es nie gab, und öffnet damit Typosquatting Tür und Tor.
● Häufige Fragen
Was ist KI-Halluzination?
Fehlermodus, bei dem ein generatives KI-System flüssige, selbstbewusste Ausgaben erzeugt, die jedoch faktisch falsch, frei erfunden oder durch die Quellen nicht gedeckt sind. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.
Was bedeutet KI-Halluzination?
Fehlermodus, bei dem ein generatives KI-System flüssige, selbstbewusste Ausgaben erzeugt, die jedoch faktisch falsch, frei erfunden oder durch die Quellen nicht gedeckt sind.
Wie schützt man sich gegen KI-Halluzination?
Schutzmaßnahmen gegen KI-Halluzination kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.
Welche anderen Bezeichnungen gibt es für KI-Halluzination?
Übliche alternative Bezeichnungen: LLM-Halluzination, Konfabulation.