AI レッドチーム.

AI システムに対して攻撃者を模擬し、現実の攻撃者より先にセキュリティ・セーフティ・濫用上のリスクを洗い出す専門チーム。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

AI システムに対して攻撃者を模擬し、現実の攻撃者より先にセキュリティ・セーフティ・濫用上のリスクを洗い出す専門チーム。

AI レッドチーミングは、従来のレッドチーミングを AI 特有の故障モード——プロンプトインジェクション、ジェイルブレイク、有害コンテンツ生成、虚偽の権威付け、モデル窃取、ツール経由のデータ流出、エージェント濫用、新興のデュアルユース・リスク——に拡張するものです。敵対的 ML、政策、社会技術、攻撃側セキュリティの知見を組み合わせます。Microsoft、Anthropic、OpenAI、Google DeepMind、NIST(AI Safety Institute や AI 600-1 プロファイル)などが、構造化された手動テスト・自動攻撃スイート・クラウドソーシング型バグバウンティを組み合わせたプログラムを運用または推奨しています。成果はアライメント、評価ハーネス、ガードレール、ガバナンス統制、インシデント対応プレイブックに反映されます。EU AI Act は高リスクおよび汎用 AI モデルに対し AI レッドチーミングを明示的に要求しています。

AI レッドチーム に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: AI レッドチーミング, 生成 AI レッドチーム。