AI ハルシネーション
AI ハルシネーション とは何ですか?
AI ハルシネーション生成 AI が流暢かつ自信ありげな出力を返しながら、事実と異なる、捏造された、または出典の裏付けがない内容を出してしまう失敗モード。
ハルシネーションは生成モデルの統計的な性質——検証済み事実ではなく、もっともらしい続きを予測する——に起因します。捏造された引用、存在しない API パラメーター、実在しない訴訟(2023 年の Mata 対 Avianca 事件など)、架空の CVE 番号、RAG 回答中の根拠なき主張などが典型例です。ユーザーが誤出力に従って行動した瞬間にセキュリティ問題となります。例として、LLM が "slopsquatting" のように捏造した npm パッケージを実際にインストールしてしまう、虚偽の法的助言を信用する、想像上の挙動に基づいて攻撃コードを書く、などがあります。対策には出典付き RAG、構造化出力、事実照合のためのツール呼び出し、評価スイート(TruthfulQA、FActScore)、較正された回答拒否、ハイステークス領域での人間レビューがあります。
● 例
- 01
LLM が架空の 2023 年訴訟と事件番号を組み合わせて引用してしまう。
- 02
コーディングアシスタントが公開されたことのない npm パッケージ名を勧め、typosquatting の温床になる。
● よくある質問
AI ハルシネーション とは何ですか?
生成 AI が流暢かつ自信ありげな出力を返しながら、事実と異なる、捏造された、または出典の裏付けがない内容を出してしまう失敗モード。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。
AI ハルシネーション とはどういう意味ですか?
生成 AI が流暢かつ自信ありげな出力を返しながら、事実と異なる、捏造された、または出典の裏付けがない内容を出してしまう失敗モード。
AI ハルシネーション からどのように防御しますか?
AI ハルシネーション に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。
AI ハルシネーション の別名は何ですか?
一般的な別名: LLM ハルシネーション, コンファビュレーション。