RAG(检索增强生成)
RAG(检索增强生成) 是什么?
RAG(检索增强生成)Retrieval-Augmented Generation:在查询时从知识库检索相关文档,并将其注入提示词以为 LLM 输出提供依据的模式。
RAG 通过外部检索步骤增强大语言模型。在推理时,将用户查询嵌入为向量,经过向量或关键字索引返回最相关的文档,再把这些文档拼接到提示词中,使 LLM 可以基于这些内容推理或引用。RAG 可降低幻觉,让模型在不重训的情况下使用私有或最新数据。安全角度上,它带来新的攻击面:文档中的间接提示注入、对语料或向量库的数据投毒、通过模型输出的数据外泄、多租户共享索引时的访问控制错误以及 embedding 反演攻击。加固后的 RAG 管道会隔离不可信内容、按文档执行访问控制、对输入做净化处理、监控被检索的片段,并增加输出 guardrail。
● 示例
- 01
企业聊天机器人从向量库中检索政策 PDF 来回答 HR 类问题。
- 02
恶意 wiki 页面藏有指令,通过间接提示注入劫持 RAG 助手。
● 常见问题
RAG(检索增强生成) 是什么?
Retrieval-Augmented Generation:在查询时从知识库检索相关文档,并将其注入提示词以为 LLM 输出提供依据的模式。 它属于网络安全的 AI 与机器学习安全 分类。
RAG(检索增强生成) 是什么意思?
Retrieval-Augmented Generation:在查询时从知识库检索相关文档,并将其注入提示词以为 LLM 输出提供依据的模式。
RAG(检索增强生成) 是如何工作的?
RAG 通过外部检索步骤增强大语言模型。在推理时,将用户查询嵌入为向量,经过向量或关键字索引返回最相关的文档,再把这些文档拼接到提示词中,使 LLM 可以基于这些内容推理或引用。RAG 可降低幻觉,让模型在不重训的情况下使用私有或最新数据。安全角度上,它带来新的攻击面:文档中的间接提示注入、对语料或向量库的数据投毒、通过模型输出的数据外泄、多租户共享索引时的访问控制错误以及 embedding 反演攻击。加固后的 RAG 管道会隔离不可信内容、按文档执行访问控制、对输入做净化处理、监控被检索的片段,并增加输出 guardrail。
如何防御 RAG(检索增强生成)?
针对 RAG(检索增强生成) 的防御通常结合技术控制与运营实践,详见上方完整定义。
RAG(检索增强生成) 还有哪些其他名称?
常见的别称包括: 检索增强生成, Grounded generation。
● 相关术语
- ai-security№ 1198
向量数据库安全
保护 AI 系统所使用的向量数据库,防范数据泄露、投毒、租户串通以及运营或供应链入侵的一组控制措施。
- ai-security№ 376
嵌入向量攻击
针对 AI 嵌入向量的一类攻击,旨在还原、篡改或滥用原始输入或其语义,包括嵌入反演与基于相似度的投毒。
- ai-security№ 866
提示词注入
通过向提示中夹带对抗性文本来覆盖 LLM 原有指令的攻击,使模型忽略安全限制或执行攻击者指定的操作。
- ai-security№ 031
AI 模型卡(Model Card)
由 Margaret Mitchell 等人于 2018 年提出的标准化文档,描述机器学习模型的预期用途、训练数据、性能、局限性与伦理考量。
- ai-security№ 281
数据投毒
针对机器学习系统的攻击,攻击者注入、篡改或重新标注训练数据,使最终模型出现错误行为或被植入隐蔽后门。