Entry № 819
Nightshade 攻击
Nightshade 攻击 是什么?
Nightshade 攻击芝加哥大学 Glaze 团队提出的数据投毒技术,通过为图像添加人眼难以察觉的扰动,使在这些图像上训练的文生图模型学到严重扭曲的概念。
Nightshade 由 Shan 等人在 2023-2024 年发布,旨在帮助艺术家应对未经授权抓取其作品用于训练生成式 AI。扰动后的图像在人眼下几乎无差异,但一旦进入训练集,就会迫使模型把概念错误地关联——一张被投毒、标签为 "dog" 的图可能让模型把狗渲染成猫,或把艺术风格扭曲到不可用。少量 Nightshade 图像即可显著拉低模型质量。该工具被定位为创作者的防御手段,但本质上是一种针对抓取语料的供应链攻击,推动了 OpenAI、Stability、Adobe 等公司在版权友好数据源、数据集卫生、退出注册以及来源追踪工具方面的更多研究。
● 示例
- 01
插画师发布经过 Nightshade 扰动的作品集图像,以劝阻其被纳入训练语料。
- 02
扩散模型在摄入几千张 Nightshade 投毒的常见概念图像后,输出质量明显劣化。
● 常见问题
Nightshade 攻击 是什么?
芝加哥大学 Glaze 团队提出的数据投毒技术,通过为图像添加人眼难以察觉的扰动,使在这些图像上训练的文生图模型学到严重扭曲的概念。 它属于网络安全的 AI 与机器学习安全 分类。
Nightshade 攻击 是什么意思?
芝加哥大学 Glaze 团队提出的数据投毒技术,通过为图像添加人眼难以察觉的扰动,使在这些图像上训练的文生图模型学到严重扭曲的概念。
如何防御 Nightshade 攻击?
针对 Nightshade 攻击 的防御通常结合技术控制与运营实践,详见上方完整定义。
Nightshade 攻击 还有哪些其他名称?
常见的别称包括: Nightshade 投毒, Glaze 的攻势变种。