Nightshade 攻撃.

シカゴ大学 Glaze チームが提案したデータポイズニング手法で、画像に知覚不能な摂動を加えることで、それを学習した text-to-image モデルが概念を深く歪んだ形で学習してしまうようにする。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

シカゴ大学 Glaze チームが提案したデータポイズニング手法で、画像に知覚不能な摂動を加えることで、それを学習した text-to-image モデルが概念を深く歪んだ形で学習してしまうようにする。

Nightshade は Shan らが 2023-2024 年に発表したもので、無許可スクレイピングに対するアーティスト側の対抗策として設計されました。摂動後の画像は人間の目には変わらず見えますが、学習データに含まれるとモデルに概念を誤って結び付けさせます。例えば "dog" とラベル付けされた汚染画像が猫を生成させたり、特定の作風を使い物にならない形に歪めたりします。数千枚の Nightshade 画像だけでも品質を顕著に下げられます。クリエイター向け防御ツールとして紹介されていますが、技術的にはスクレイピングコーパスに対するサプライチェーン攻撃でもあり、OpenAI、Stability、Adobe などにおける著作権配慮のデータ取得、データセット衛生、オプトアウト登録、来歴管理ツール研究を加速させました。

Nightshade 攻撃 に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: Nightshade ポイズニング, Glaze の攻撃的バリエーション。