適応的攻撃
適応的攻撃 とは何ですか?
適応的攻撃汎用的・防御非依存の手法ではなく、特定の既知防御を回避・突破するよう設計された機械学習システムへの攻撃。
適応的攻撃は、対象とする防御とその前提を十分に把握したうえで構築され、その防御を突破するように損失関数や制約が調整されます。この用語は Carlini と Wagner の評価研究を通じて広まりました。彼らは、汎用的な敵対的サンプルに対して堅牢と謳う防御が、防御を狙って目的関数を再設計した攻撃者の前ではことごとく破られることを繰り返し示しました。今日、適応的攻撃は標準的なベンチマークとなっており、敵対的サンプル、AI コンテンツの電子透かし、検出器など、いかなる防御提案も、防御を認識し方法論を適応させる攻撃者を想定して評価すべきとされます。これを省くと、単純で原則的な攻撃で容易に崩れるような過大な堅牢性主張に陥りがちです。
● 例
- 01
Carlini と Wagner は、各検出器の決定規則に合わせて攻撃損失を再設計し、複数の敵対的サンプル検出器を破ってみせた。
- 02
AI 生成画像の電子透かし方式に対し、公開された検出器を直接目標として摂動を最適化する適応的攻撃が透かしを無効化する。
● よくある質問
適応的攻撃 とは何ですか?
汎用的・防御非依存の手法ではなく、特定の既知防御を回避・突破するよう設計された機械学習システムへの攻撃。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。
適応的攻撃 とはどういう意味ですか?
汎用的・防御非依存の手法ではなく、特定の既知防御を回避・突破するよう設計された機械学習システムへの攻撃。
適応的攻撃 はどのように機能しますか?
適応的攻撃は、対象とする防御とその前提を十分に把握したうえで構築され、その防御を突破するように損失関数や制約が調整されます。この用語は Carlini と Wagner の評価研究を通じて広まりました。彼らは、汎用的な敵対的サンプルに対して堅牢と謳う防御が、防御を狙って目的関数を再設計した攻撃者の前ではことごとく破られることを繰り返し示しました。今日、適応的攻撃は標準的なベンチマークとなっており、敵対的サンプル、AI コンテンツの電子透かし、検出器など、いかなる防御提案も、防御を認識し方法論を適応させる攻撃者を想定して評価すべきとされます。これを省くと、単純で原則的な攻撃で容易に崩れるような過大な堅牢性主張に陥りがちです。
適応的攻撃 からどのように防御しますか?
適応的攻撃 に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。
適応的攻撃 の別名は何ですか?
一般的な別名: 防御を知った攻撃, ホワイトボックス適応評価。
● 関連用語
- ai-security№ 1168
転移可能な敵対的攻撃
ある機械学習モデルに対して作成した敵対的サンプルが、未見の他モデルも誤認させる攻撃で、ターゲットにアクセスせずにブラックボックス攻撃を可能にする。
- ai-security№ 018
敵対的サンプル
人間にはほぼ知覚できない程度に意図的に摂動を加えた入力で、機械学習モデルに誤った、または攻撃者が指定した予測を出させるもの。
- ai-security№ 032
AI レッドチーム
AI システムに対して攻撃者を模擬し、現実の攻撃者より先にセキュリティ・セーフティ・濫用上のリスクを洗い出す専門チーム。
- ai-security№ 026
AI コンテンツ検出
ある文章・画像・音声・動画が、人間ではなく AI モデルによって生成されたかどうかを推定するためのツールや技術。