AI ハルシネーション.

生成 AI が流暢かつ自信ありげな出力を返しながら、事実と異なる、捏造された、または出典の裏付けがない内容を出してしまう失敗モード。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

生成 AI が流暢かつ自信ありげな出力を返しながら、事実と異なる、捏造された、または出典の裏付けがない内容を出してしまう失敗モード。

ハルシネーションは生成モデルの統計的な性質——検証済み事実ではなく、もっともらしい続きを予測する——に起因します。捏造された引用、存在しない API パラメーター、実在しない訴訟(2023 年の Mata 対 Avianca 事件など)、架空の CVE 番号、RAG 回答中の根拠なき主張などが典型例です。ユーザーが誤出力に従って行動した瞬間にセキュリティ問題となります。例として、LLM が "slopsquatting" のように捏造した npm パッケージを実際にインストールしてしまう、虚偽の法的助言を信用する、想像上の挙動に基づいて攻撃コードを書く、などがあります。対策には出典付き RAG、構造化出力、事実照合のためのツール呼び出し、評価スイート(TruthfulQA、FActScore)、較正された回答拒否、ハイステークス領域での人間レビューがあります。

AI ハルシネーション に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: LLM ハルシネーション, コンファビュレーション。