過剰な権限(Excessive Agency)
過剰な権限(Excessive Agency) とは何ですか?
過剰な権限(Excessive Agency)OWASP LLM06。LLM ベースのシステムにユースケースを上回る機能・権限・自律性を与えてしまうことで、一度のプロンプトインジェクションやモデルの誤りが、現実世界において過大な影響に転化してしまう問題。
過剰な権限(Excessive Agency)は、OWASP Top 10 for Large Language Model Applications の LLM06 に位置付けられる項目です。LLM ベースのシステムに、ユースケース上必要となる以上のツール・権限・自律性を持たせてしまったときに生じる被害クラスを指します。たとえば、本番の課金 API への書き込み権限を持つカスタマーサポートエージェントや、リポジトリの読み取りに加えてレビューなしで main へ直接 push できるコードアシスタントなどがこれに該当します。脆弱性はモデル自体ではなく、その周囲のシステム設計にあり、エージェントがプロンプトインジェクション・幻覚・単なる出力ミスなどで誤動作したとき、被害の広がりは付与されている権限の範囲によって決まります。緩和策は最小権限の原則に従い、各ツールを必要最小限のデータと操作にスコープし、不可逆な操作には人手承認を課し、可能な限り読み取り専用やステージング用ツールを優先し、計画モデルと実行モデルを分離し、ツール呼び出しを計装して異常なシーケンスが検知に上がるようにする、といった構成が定石です。
● 例
- 01
LLM 駆動のチケット振り分けツールが CRM の完全な管理者権限を持っており、サポートメール中のプロンプトインジェクションをきっかけに顧客レコードを大量に書き換えてしまう。
- 02
コーディングエージェントは main への直接 push ではなくプルリクエストの作成だけに制限されており、悪い提案も本番に反映される前にレビュー可能なまま留まる。
● よくある質問
過剰な権限(Excessive Agency) とは何ですか?
OWASP LLM06。LLM ベースのシステムにユースケースを上回る機能・権限・自律性を与えてしまうことで、一度のプロンプトインジェクションやモデルの誤りが、現実世界において過大な影響に転化してしまう問題。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。
過剰な権限(Excessive Agency) とはどういう意味ですか?
OWASP LLM06。LLM ベースのシステムにユースケースを上回る機能・権限・自律性を与えてしまうことで、一度のプロンプトインジェクションやモデルの誤りが、現実世界において過大な影響に転化してしまう問題。
過剰な権限(Excessive Agency) からどのように防御しますか?
過剰な権限(Excessive Agency) に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。
過剰な権限(Excessive Agency) の別名は何ですか?
一般的な別名: LLM06, 権限過剰な AI エージェント。