嵌入向量攻击
嵌入向量攻击 是什么?
嵌入向量攻击针对 AI 嵌入向量的一类攻击,旨在还原、篡改或滥用原始输入或其语义,包括嵌入反演与基于相似度的投毒。
嵌入(embedding)是现代 AI 系统在搜索、推荐和 RAG 中使用的文本、图像或其他数据的稠密向量表示。尽管曾被视为不透明,研究已经证明它们往往泄露大量关于原文的信息。嵌入反演攻击(例如 Vec2Text 系列)可以从向量中以惊人的还原度重构原句,从而打破对聊天日志、病历或存放在向量数据库中专有文档的隐私假设。其他嵌入攻击还包括相似度投毒,即攻击者构造在 RAG 语料中能劫持最近邻结果的输入;以及对嵌入接口的成员推断攻击。常见防御措施包括对向量加密存储、对相似度查询执行访问控制、限制查询速率、降维处理,以及在隐私法规下将嵌入视为个人数据。
● 示例
- 01
研究人员使用 Vec2Text 从 OpenAI 的嵌入中还原超过 90% 的句子内容。
- 02
投毒文档被嵌入到与常见 HR 查询接近的位置,劫持 RAG 的回答。
● 常见问题
嵌入向量攻击 是什么?
针对 AI 嵌入向量的一类攻击,旨在还原、篡改或滥用原始输入或其语义,包括嵌入反演与基于相似度的投毒。 它属于网络安全的 AI 与机器学习安全 分类。
嵌入向量攻击 是什么意思?
针对 AI 嵌入向量的一类攻击,旨在还原、篡改或滥用原始输入或其语义,包括嵌入反演与基于相似度的投毒。
嵌入向量攻击 是如何工作的?
嵌入(embedding)是现代 AI 系统在搜索、推荐和 RAG 中使用的文本、图像或其他数据的稠密向量表示。尽管曾被视为不透明,研究已经证明它们往往泄露大量关于原文的信息。嵌入反演攻击(例如 Vec2Text 系列)可以从向量中以惊人的还原度重构原句,从而打破对聊天日志、病历或存放在向量数据库中专有文档的隐私假设。其他嵌入攻击还包括相似度投毒,即攻击者构造在 RAG 语料中能劫持最近邻结果的输入;以及对嵌入接口的成员推断攻击。常见防御措施包括对向量加密存储、对相似度查询执行访问控制、限制查询速率、降维处理,以及在隐私法规下将嵌入视为个人数据。
如何防御 嵌入向量攻击?
针对 嵌入向量攻击 的防御通常结合技术控制与运营实践,详见上方完整定义。
嵌入向量攻击 还有哪些其他名称?
常见的别称包括: 嵌入反演, Vec2Text 攻击。
● 相关术语
- ai-security№ 1198
向量数据库安全
保护 AI 系统所使用的向量数据库,防范数据泄露、投毒、租户串通以及运营或供应链入侵的一组控制措施。
- ai-security№ 897
RAG(检索增强生成)
Retrieval-Augmented Generation:在查询时从知识库检索相关文档,并将其注入提示词以为 LLM 输出提供依据的模式。
- ai-security№ 281
数据投毒
针对机器学习系统的攻击,攻击者注入、篡改或重新标注训练数据,使最终模型出现错误行为或被植入隐蔽后门。
- ai-security№ 666
成员推断攻击
一种隐私攻击,通过分析模型对某条记录的行为,判断该记录是否曾出现在该模型的训练集中。