LLM システムプロンプト漏洩.

本番運用中の大規模言語モデルアプリから隠されたシステムプロンプトや指示を引き出し、ロジック・秘密情報・ツール定義を暴く攻撃。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

本番運用中の大規模言語モデルアプリから隠されたシステムプロンプトや指示を引き出し、ロジック・秘密情報・ツール定義を暴く攻撃。

システムプロンプト漏洩は、利用者が本番運用中の LLM アプリから、隠されたシステムプロンプト、開発者の指示、付随する文脈 (API キー、社内ドキュメント、ツール定義など) を引き出すことで発生します。攻撃者は、直接の問い合わせ、ロールプレイ、翻訳トリック、文字エンコードによる難読化、要約させる悪意ある文書を通じた間接的プロンプトインジェクションなどを用います。部分的な漏洩であっても、ビジネスロジックの逆解析、ガードレール回避策の特定、対象に合わせたジェイルブレイクやソーシャルエンジニアリング文面の作成に活用されます。緩和策としては、システムプロンプトを実質公開データとして扱い、秘密情報を含めない、サーバー側のポリシー検査、出力フィルタリング、指示を漏らさないようモデルに指示する、などがありますが、執拗な攻撃者には突破されうると割り切る必要があります。

LLM システムプロンプト漏洩 に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: システムプロンプト抽出, プロンプト持ち出し。