过度授权(Excessive Agency)
过度授权(Excessive Agency) 是什么?
过度授权(Excessive Agency)OWASP LLM06:为基于 LLM 的系统授予超出实际需要的功能、权限或自主性,使一次提示注入或模型失误就足以造成超出预期的现实影响。
过度授权是 OWASP 大型语言模型应用 Top 10 中的第六项(LLM06)。它描述的是这样一类风险:基于 LLM 的系统被授予了远超其用例所需的工具、权限或自主性 —— 例如客服智能体拥有生产环境计费 API 的写入权限,或者代码助手既能读仓库又能直接 push 到 main 而无需评审。漏洞本身并不在模型,而在它周围的系统:一旦智能体被攻陷(无论是因为提示注入、幻觉,还是只是出错),其影响范围完全取决于此前被授予的能力。常见缓解依循最小权限原则:把每个工具的数据和动作范围收敛到最小集合,对不可逆操作要求人工审批,尽量使用只读或预发环境工具,把规划模型与执行模型分离,并对工具调用做埋点,以便异常序列能在检测层显现。
● 示例
- 01
一个基于 LLM 的工单分诊工具拥有 CRM 的完全管理员权限,在客服邮件中遭遇提示注入后批量修改了客户记录。
- 02
编码智能体被限定只能开 pull request,不允许直接 push 到 main,这样一次糟糕的建议仍可被审查,而不会直接落到生产。
● 常见问题
过度授权(Excessive Agency) 是什么?
OWASP LLM06:为基于 LLM 的系统授予超出实际需要的功能、权限或自主性,使一次提示注入或模型失误就足以造成超出预期的现实影响。 它属于网络安全的 AI 与机器学习安全 分类。
过度授权(Excessive Agency) 是什么意思?
OWASP LLM06:为基于 LLM 的系统授予超出实际需要的功能、权限或自主性,使一次提示注入或模型失误就足以造成超出预期的现实影响。
过度授权(Excessive Agency) 是如何工作的?
过度授权是 OWASP 大型语言模型应用 Top 10 中的第六项(LLM06)。它描述的是这样一类风险:基于 LLM 的系统被授予了远超其用例所需的工具、权限或自主性 —— 例如客服智能体拥有生产环境计费 API 的写入权限,或者代码助手既能读仓库又能直接 push 到 main 而无需评审。漏洞本身并不在模型,而在它周围的系统:一旦智能体被攻陷(无论是因为提示注入、幻觉,还是只是出错),其影响范围完全取决于此前被授予的能力。常见缓解依循最小权限原则:把每个工具的数据和动作范围收敛到最小集合,对不可逆操作要求人工审批,尽量使用只读或预发环境工具,把规划模型与执行模型分离,并对工具调用做埋点,以便异常序列能在检测层显现。
如何防御 过度授权(Excessive Agency)?
针对 过度授权(Excessive Agency) 的防御通常结合技术控制与运营实践,详见上方完整定义。
过度授权(Excessive Agency) 还有哪些其他名称?
常见的别称包括: LLM06, 权限过大的 AI 智能体。
● 相关术语
- ai-security№ 870
OWASP LLM Top 10
由 OWASP 维护的清单,列出对基于大型语言模型构建的应用最关键的十大安全风险。
- ai-security№ 027
智能体 AI 安全
面向可自主规划、调用工具并在真实系统中执行操作的 LLM 智能体的安全实践;在此场景下,提示注入可转化为远程代码执行,过度授权则带来真实的破坏面。
- identity-access№ 955
最小权限原则
一种安全原则,要求向每个用户、进程或服务仅授予其完成职责所必需的最少权限,绝不多余。
- ai-security№ 689
LLM 守护栏
约束基于 LLM 的应用能接收或输出哪些内容的机制,围绕底层模型落实 Safety、安全与业务规则。
- ai-security№ 969
提示词注入
通过向提示中夹带对抗性文本来覆盖 LLM 原有指令的攻击,使模型忽略安全限制或执行攻击者指定的操作。
- ai-security№ 1285
Tool-Use Injection
Attacks that manipulate an LLM agent's tool-calling layer — forging tool arguments, smuggling instructions through tool outputs, or coaxing the model into calling unsanctioned tools.