Nightshade 攻击
Nightshade 攻击 是什么?
Nightshade 攻击芝加哥大学 Glaze 团队提出的数据投毒技术,通过为图像添加人眼难以察觉的扰动,使在这些图像上训练的文生图模型学到严重扭曲的概念。
Nightshade 由 Shan 等人在 2023-2024 年发布,旨在帮助艺术家应对未经授权抓取其作品用于训练生成式 AI。扰动后的图像在人眼下几乎无差异,但一旦进入训练集,就会迫使模型把概念错误地关联——一张被投毒、标签为 "dog" 的图可能让模型把狗渲染成猫,或把艺术风格扭曲到不可用。少量 Nightshade 图像即可显著拉低模型质量。该工具被定位为创作者的防御手段,但本质上是一种针对抓取语料的供应链攻击,推动了 OpenAI、Stability、Adobe 等公司在版权友好数据源、数据集卫生、退出注册以及来源追踪工具方面的更多研究。
● 示例
- 01
插画师发布经过 Nightshade 扰动的作品集图像,以劝阻其被纳入训练语料。
- 02
扩散模型在摄入几千张 Nightshade 投毒的常见概念图像后,输出质量明显劣化。
● 常见问题
Nightshade 攻击 是什么?
芝加哥大学 Glaze 团队提出的数据投毒技术,通过为图像添加人眼难以察觉的扰动,使在这些图像上训练的文生图模型学到严重扭曲的概念。 它属于网络安全的 AI 与机器学习安全 分类。
Nightshade 攻击 是什么意思?
芝加哥大学 Glaze 团队提出的数据投毒技术,通过为图像添加人眼难以察觉的扰动,使在这些图像上训练的文生图模型学到严重扭曲的概念。
Nightshade 攻击 是如何工作的?
Nightshade 由 Shan 等人在 2023-2024 年发布,旨在帮助艺术家应对未经授权抓取其作品用于训练生成式 AI。扰动后的图像在人眼下几乎无差异,但一旦进入训练集,就会迫使模型把概念错误地关联——一张被投毒、标签为 "dog" 的图可能让模型把狗渲染成猫,或把艺术风格扭曲到不可用。少量 Nightshade 图像即可显著拉低模型质量。该工具被定位为创作者的防御手段,但本质上是一种针对抓取语料的供应链攻击,推动了 OpenAI、Stability、Adobe 等公司在版权友好数据源、数据集卫生、退出注册以及来源追踪工具方面的更多研究。
如何防御 Nightshade 攻击?
针对 Nightshade 攻击 的防御通常结合技术控制与运营实践,详见上方完整定义。
Nightshade 攻击 还有哪些其他名称?
常见的别称包括: Nightshade 投毒, Glaze 的攻势变种。
● 相关术语
- ai-security№ 281
数据投毒
针对机器学习系统的攻击,攻击者注入、篡改或重新标注训练数据,使最终模型出现错误行为或被植入隐蔽后门。
- ai-security№ 034
AI 供应链风险
组织在构建和部署 AI 系统时所组合的第三方数据集、基础模型、依赖库、插件与基础设施带来的威胁集合。
- ai-security№ 035
AI 水印
在 AI 生成内容中嵌入可检测信号的技术,用于事后验证其来源、所属模型或与训练集的关联。
- ai-security№ 027
AI 治理
组织和监管机构用于确保 AI 系统以负责任、合法方式开发、部署与运营的政策、流程、角色与控制的总和。
- ai-security№ 1123
合成媒体
由生成式 AI 制作或大量修改的音频、图像、视频或文本内容,而非直接从物理世界采集得到的素材。
- ai-security№ 026
AI 内容检测
用于估计一段文本、图像、音频或视频是否由 AI 模型生成、而非来自人类的工具和技术。