データポイズニング.

敵対者が学習データを注入・改ざん・再ラベル付けし、得られるモデルが誤動作したり隠れたバックドアを含んだりするように仕向ける機械学習システムへの攻撃。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

敵対者が学習データを注入・改ざん・再ラベル付けし、得られるモデルが誤動作したり隠れたバックドアを含んだりするように仕向ける機械学習システムへの攻撃。

データポイズニングは ML ライフサイクルの学習段階を標的にします。攻撃者は公開 Web クロール、クラウドソーシングのラベル、ファインチューニング用コーパス、フィードバックログなどのデータセットを操作し、モデルを偏らせたり精度を下げたり、特定のトリガーで発動する挙動を埋め込んだりします。Carlini らは 2023 年に、Web 上のごく一部の汚染データだけでも大規模な事前学習コーパスを破壊しうることを示しました。可用性攻撃(全体精度の低下)、ターゲット攻撃(特定誤分類の誘発)、バックドア攻撃(指定トリガーで発動)などの種類があります。防御の中心はデータセットの来歴管理と署名、重複除去、学習データの異常検知、ロバストな学習アルゴリズム、ベンチマークおよび敵対的テストセットによる継続的評価です。

データポイズニング に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: 学習データポイズニング, データセットポイズニング。