LLM 防火墙
LLM 防火墙 是什么?
LLM 防火墙位于用户与大型语言模型之间的安全控制,实时检查提示、检索上下文与输出,对违反策略的流量进行拦截或改写。
LLM 防火墙(也称 AI 防火墙或 LLM 网关)对流入流出 LLM 端点的流量进行检查、分类与策略执行。常见能力包括提示注入与越狱检测、PII 与机密屏蔽、内容审核、Schema 与工具调用校验、按身份的速率限制、RAG 出站控制以及详细审计日志。该领域的产品和开源项目包括 LLM Guard、Prompt Shield、Lakera Guard,以及 Cloudflare、F5、Palo Alto 及主流超大规模云厂商的方案。LLM 防火墙是模型内置守护栏、安全的 RAG 设计、身份感知访问控制与 MLSecOps 实践的补充,而非替代。在纵深防御架构中最为有效,可在厂商默认安全策略之上叠加组织特有的策略。
● 示例
- 01
网关在请求到达 LLM API 之前拦截含有信用卡号的提示。
- 02
LLM 防火墙在文档被加入 RAG 上下文之前,去除已知的提示词注入签名。
● 常见问题
LLM 防火墙 是什么?
位于用户与大型语言模型之间的安全控制,实时检查提示、检索上下文与输出,对违反策略的流量进行拦截或改写。 它属于网络安全的 AI 与机器学习安全 分类。
LLM 防火墙 是什么意思?
位于用户与大型语言模型之间的安全控制,实时检查提示、检索上下文与输出,对违反策略的流量进行拦截或改写。
LLM 防火墙 是如何工作的?
LLM 防火墙(也称 AI 防火墙或 LLM 网关)对流入流出 LLM 端点的流量进行检查、分类与策略执行。常见能力包括提示注入与越狱检测、PII 与机密屏蔽、内容审核、Schema 与工具调用校验、按身份的速率限制、RAG 出站控制以及详细审计日志。该领域的产品和开源项目包括 LLM Guard、Prompt Shield、Lakera Guard,以及 Cloudflare、F5、Palo Alto 及主流超大规模云厂商的方案。LLM 防火墙是模型内置守护栏、安全的 RAG 设计、身份感知访问控制与 MLSecOps 实践的补充,而非替代。在纵深防御架构中最为有效,可在厂商默认安全策略之上叠加组织特有的策略。
如何防御 LLM 防火墙?
针对 LLM 防火墙 的防御通常结合技术控制与运营实践,详见上方完整定义。
LLM 防火墙 还有哪些其他名称?
常见的别称包括: AI 防火墙, LLM 网关。
● 相关术语
- ai-security№ 618
LLM 守护栏
约束基于 LLM 的应用能接收或输出哪些内容的机制,围绕底层模型落实 Safety、安全与业务规则。
- ai-security№ 866
提示词注入
通过向提示中夹带对抗性文本来覆盖 LLM 原有指令的攻击,使模型忽略安全限制或执行攻击者指定的操作。
- ai-security№ 777
OWASP LLM Top 10
由 OWASP 维护的清单,列出对基于大型语言模型构建的应用最关键的十大安全风险。
- ai-security№ 898
RAG 安全
保护检索增强生成(RAG)流水线的实践,确保为 LLM 提供素材的文档、向量库与检索步骤无法被投毒、滥用或用于数据外泄。
- ai-security№ 027
AI 治理
组织和监管机构用于确保 AI 系统以负责任、合法方式开发、部署与运营的政策、流程、角色与控制的总和。
- ai-security№ 691
MLSecOps
在机器学习全生命周期(数据收集、训练、部署、监控到退役)中整合安全与风险控制的实践。