Entry № 1007
RAG 安全
RAG 安全 是什么?
RAG 安全保护检索增强生成(RAG)流水线的实践,确保为 LLM 提供素材的文档、向量库与检索步骤无法被投毒、滥用或用于数据外泄。
RAG 让 LLM 基于外部语料(文件、数据库、内部网页、客户文档)给出回答。每一次检索都是潜在的攻击面。常见威胁包括来自恶意文档的间接提示词注入、扭曲检索结果的向量库投毒、在嵌入空间中外泄敏感片段的攻击、过于宽松的授权返回用户不应看到的文档,以及通过提示日志造成的泄露。OWASP LLM Top 10 把其中多项列为 LLM01、LLM02、LLM06、LLM08。控制措施包括对索引的严格访问控制、分块前的内容清洗、带签名与来源跟踪的源数据、检索审计日志、输出过滤,以及对底层数据存储沿用相同的 DLP 与身份策略。
● 示例
- 01
攻击者上传一份 Confluence 页面,隐藏文本要求每一条 RAG 回答都嵌入一个恶意 URL。
- 02
被投毒的向量库在员工询问竞品定价时,总是返回攻击者选定的段落。
● 常见问题
RAG 安全 是什么?
保护检索增强生成(RAG)流水线的实践,确保为 LLM 提供素材的文档、向量库与检索步骤无法被投毒、滥用或用于数据外泄。 它属于网络安全的 AI 与机器学习安全 分类。
RAG 安全 是什么意思?
保护检索增强生成(RAG)流水线的实践,确保为 LLM 提供素材的文档、向量库与检索步骤无法被投毒、滥用或用于数据外泄。
如何防御 RAG 安全?
针对 RAG 安全 的防御通常结合技术控制与运营实践,详见上方完整定义。
RAG 安全 还有哪些其他名称?
常见的别称包括: 安全 RAG, RAG 加固。