OWASP LLM Top 10
OWASP LLM Top 10 とは何ですか?
OWASP LLM Top 10大規模言語モデルを基盤とするアプリケーションに対し、最も重大な 10 のセキュリティリスクをまとめた OWASP のリスト。
2023 年に初版が公開され、"OWASP Top 10 for LLM Applications" として更新が続いており、プロンプトインジェクション(LLM01)、不適切な出力処理、学習データの汚染、モデル DoS、サプライチェーン脆弱性、機微情報の漏えい、安全でないプラグイン設計、過度な権限委譲、過信、モデル窃取などのリスクを体系化しています。各項目には攻撃シナリオ、ビジネス影響、開発者・アーキテクト・セキュリティチーム向けの推奨対策が含まれます。Web 版 OWASP Top 10 と同じ枠組みを継承し、NIST、ENISA、MITRE ATLAS、EU AI Act のガイドラインからも参照される、LLM 安全運用の事実上の基準です。
● 例
- 01
RAG アプリケーションの脅威モデリングで LLM01(プロンプトインジェクション)と LLM02(不適切な出力処理)を必須チェック項目に据える。
- 02
企業向け GenAI 導入を承認する前に、ベンダーのセキュリティ質問票を OWASP LLM Top 10 にマッピングする。
● よくある質問
OWASP LLM Top 10 とは何ですか?
大規模言語モデルを基盤とするアプリケーションに対し、最も重大な 10 のセキュリティリスクをまとめた OWASP のリスト。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。
OWASP LLM Top 10 とはどういう意味ですか?
大規模言語モデルを基盤とするアプリケーションに対し、最も重大な 10 のセキュリティリスクをまとめた OWASP のリスト。
OWASP LLM Top 10 はどのように機能しますか?
2023 年に初版が公開され、"OWASP Top 10 for LLM Applications" として更新が続いており、プロンプトインジェクション(LLM01)、不適切な出力処理、学習データの汚染、モデル DoS、サプライチェーン脆弱性、機微情報の漏えい、安全でないプラグイン設計、過度な権限委譲、過信、モデル窃取などのリスクを体系化しています。各項目には攻撃シナリオ、ビジネス影響、開発者・アーキテクト・セキュリティチーム向けの推奨対策が含まれます。Web 版 OWASP Top 10 と同じ枠組みを継承し、NIST、ENISA、MITRE ATLAS、EU AI Act のガイドラインからも参照される、LLM 安全運用の事実上の基準です。
OWASP LLM Top 10 からどのように防御しますか?
OWASP LLM Top 10 に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。
OWASP LLM Top 10 の別名は何ですか?
一般的な別名: OWASP LLM アプリケーション Top 10, OWASP LLM01-LLM10。
● 関連用語
- ai-security№ 866
プロンプトインジェクション
プロンプトに敵対的なテキストを紛れ込ませて LLM の元の指示を上書きし、安全策を無視させたり攻撃者が望む動作を実行させたりする攻撃。
- ai-security№ 528
間接プロンプトインジェクション
悪意ある指示を第三者コンテンツ(Web ページ、文書、メール)に埋め込み、LLM が検索・閲覧・ツール利用を通じて取り込んだ際に発動するプロンプトインジェクションの変種。
- ai-security№ 898
RAG セキュリティ
LLM に素材を供給する文書・ベクトルストア・検索ステップが汚染・濫用・データ流出に使われないよう、RAG パイプラインを守るための分野。
- ai-security№ 034
AI サプライチェーンリスク
AI システムを構築・運用するために組織が組み合わせる、第三者のデータセット・ベースモデル・ライブラリ・プラグイン・インフラから生じる脅威の集合。
- ai-security№ 618
LLM ガードレール
LLM ベースのアプリケーションが受け付けたり出力したりできる内容を制約し、基盤モデルの周囲で safety・セキュリティ・業務ルールを適用する仕組み。
- ai-security№ 691
MLSecOps
データ収集・学習・デプロイ・運用監視・廃止まで、機械学習のライフサイクル全体にセキュリティとリスク管理を統合する取り組み。
● 関連項目
- № 030AI ジェイルブレイク
- № 281データポイズニング
- № 703モデル抽出
- № 704モデル反転攻撃
- № 018敵対的サンプル
- № 393回避攻撃(ML)
- № 666メンバーシップ推論攻撃
- № 032AI レッドチーム