间接提示词注入
间接提示词注入 是什么?
间接提示词注入提示词注入的变种,恶意指令被隐藏在第三方内容(网页、文档、邮件)中,由 LLM 通过检索、浏览或工具调用而读入。
间接提示词注入由 Greshake 等人在 2023 年系统化描述,攻击者无需直接与模型对话,而是将指令植入 LLM 将要消费的资源:被代理摘要的网页、被 RAG 流水线解析的 PDF、被副驾驶读取的电子邮件,甚至是图像的替代文本。一旦模型把这些内容拼接到自己的上下文,就可能执行其中的指令,泄露对话历史、调用工具或通过构造的 URL 外泄数据。常见防御包括内容沙箱、检索白名单、把数据与指令显式区分、输出与外联限制,以及对敏感工具调用引入人工审核环节。
● 示例
- 01
简历 PDF 含有白底白字,指示招聘副驾驶推荐该候选人。
- 02
AI 浏览器代理摘要某网页时,被网页内的隐藏指令要求把用户邮件发送至攻击者 URL。
● 常见问题
间接提示词注入 是什么?
提示词注入的变种,恶意指令被隐藏在第三方内容(网页、文档、邮件)中,由 LLM 通过检索、浏览或工具调用而读入。 它属于网络安全的 AI 与机器学习安全 分类。
间接提示词注入 是什么意思?
提示词注入的变种,恶意指令被隐藏在第三方内容(网页、文档、邮件)中,由 LLM 通过检索、浏览或工具调用而读入。
间接提示词注入 是如何工作的?
间接提示词注入由 Greshake 等人在 2023 年系统化描述,攻击者无需直接与模型对话,而是将指令植入 LLM 将要消费的资源:被代理摘要的网页、被 RAG 流水线解析的 PDF、被副驾驶读取的电子邮件,甚至是图像的替代文本。一旦模型把这些内容拼接到自己的上下文,就可能执行其中的指令,泄露对话历史、调用工具或通过构造的 URL 外泄数据。常见防御包括内容沙箱、检索白名单、把数据与指令显式区分、输出与外联限制,以及对敏感工具调用引入人工审核环节。
如何防御 间接提示词注入?
针对 间接提示词注入 的防御通常结合技术控制与运营实践,详见上方完整定义。
间接提示词注入 还有哪些其他名称?
常见的别称包括: 跨域提示词注入, 持久化提示词注入。
● 相关术语
- ai-security№ 866
提示词注入
通过向提示中夹带对抗性文本来覆盖 LLM 原有指令的攻击,使模型忽略安全限制或执行攻击者指定的操作。
- ai-security№ 898
RAG 安全
保护检索增强生成(RAG)流水线的实践,确保为 LLM 提供素材的文档、向量库与检索步骤无法被投毒、滥用或用于数据外泄。
- ai-security№ 030
AI 越狱
诱使经过对齐的 AI 模型绕过自身安全策略,输出运营方本欲禁止的内容或行为的技术。
- ai-security№ 777
OWASP LLM Top 10
由 OWASP 维护的清单,列出对基于大型语言模型构建的应用最关键的十大安全风险。
- ai-security№ 034
AI 供应链风险
组织在构建和部署 AI 系统时所组合的第三方数据集、基础模型、依赖库、插件与基础设施带来的威胁集合。
- ai-security№ 618
LLM 守护栏
约束基于 LLM 的应用能接收或输出哪些内容的机制,围绕底层模型落实 Safety、安全与业务规则。
● 参见
- № 1163Token 走私
- № 657MCP 攻击
- № 619LLM 系统提示词泄露