敵対的サンプル.

人間にはほぼ知覚できない程度に意図的に摂動を加えた入力で、機械学習モデルに誤った、または攻撃者が指定した予測を出させるもの。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

人間にはほぼ知覚できない程度に意図的に摂動を加えた入力で、機械学習モデルに誤った、または攻撃者が指定した予測を出させるもの。

敵対的サンプルは Szegedy ら(2013)と Goodfellow らの FGSM 論文(2014)で広く知られ、わずかなピクセル単位の摂動だけで最先端の画像分類器が高い信頼度で誤分類することが示されました。生成には勾配ベース最適化(FGSM、PGD、Carlini-Wagner)やブラックボックスクエリが使われ、異なるモデル間で転移するため内部アクセスがなくても攻撃可能です。画像にとどまらずテキスト、音声、コード、マルウェア検知器に対しても存在し、本番環境における回避攻撃の大半を支えます。対策には敵対的学習、認証済みロバスト性(ランダム化スムージング)、入力前処理、アンサンブル、ランタイム異常検知がありますが、高次元設定で完全なロバスト性を保証する手法は今のところ存在しません。

敵対的サンプル に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: 敵対的入力, 敵対的摂動。