AI 事件响应
AI 事件响应 是什么?
AI 事件响应组织用于检测、遏制、调查、通报与恢复涉及 AI 系统的事件的一整套流程、角色与剧本。
AI 事件响应在传统事件响应(NIST SP 800-61)的基础上,扩展到 AI 特有的事件:提示词注入滥用、代理失控、生产环境的越狱、规模化的有害或偏差输出、训练数据泄露、模型窃取、供应链入侵,以及由自主决策引发的物理或财务损失。响应活动借助 AIBOM 定位受影响系统、模型注册中心进行回滚、提示与输出日志进行取证、红队场景做分级。监管要求趋于明确:欧盟《人工智能法》要求报告高风险 AI 重大事件,经合组织 AI Incidents Monitor 与美国 AI Safety Institute 也发布了分类体系。成熟项目把 AI 事件与 SOC、隐私、法务和 trust and safety 工作流整合。
● 示例
- 01
某基于 LLM 的客服机器人在遭遇提示词注入后开始输出冒犯性语言,团队下线该部署、回滚系统提示并通知监管机构。
- 02
代理工作流执行未授权退款,财务、法务与 AI 安全团队借助 AIBOM 定位受影响账户。
● 常见问题
AI 事件响应 是什么?
组织用于检测、遏制、调查、通报与恢复涉及 AI 系统的事件的一整套流程、角色与剧本。 它属于网络安全的 AI 与机器学习安全 分类。
AI 事件响应 是什么意思?
组织用于检测、遏制、调查、通报与恢复涉及 AI 系统的事件的一整套流程、角色与剧本。
AI 事件响应 是如何工作的?
AI 事件响应在传统事件响应(NIST SP 800-61)的基础上,扩展到 AI 特有的事件:提示词注入滥用、代理失控、生产环境的越狱、规模化的有害或偏差输出、训练数据泄露、模型窃取、供应链入侵,以及由自主决策引发的物理或财务损失。响应活动借助 AIBOM 定位受影响系统、模型注册中心进行回滚、提示与输出日志进行取证、红队场景做分级。监管要求趋于明确:欧盟《人工智能法》要求报告高风险 AI 重大事件,经合组织 AI Incidents Monitor 与美国 AI Safety Institute 也发布了分类体系。成熟项目把 AI 事件与 SOC、隐私、法务和 trust and safety 工作流整合。
如何防御 AI 事件响应?
针对 AI 事件响应 的防御通常结合技术控制与运营实践,详见上方完整定义。
AI 事件响应 还有哪些其他名称?
常见的别称包括: AI IR, 生成式 AI 事件响应。
● 相关术语
- forensics-ir№ 524
事件响应
针对网络安全事件进行准备、检测、分析、遏制、根除和恢复并总结经验教训的有组织流程。
- forensics-ir№ 525
事件响应计划
经过批准的书面剧本,规定组织如何对网络安全事件进行准备、检测、遏制、根除、恢复并总结教训。
- ai-security№ 027
AI 治理
组织和监管机构用于确保 AI 系统以负责任、合法方式开发、部署与运营的政策、流程、角色与控制的总和。
- ai-security№ 691
MLSecOps
在机器学习全生命周期(数据收集、训练、部署、监控到退役)中整合安全与风险控制的实践。
- ai-security№ 025
AI 物料清单(AIBOM)
对构成 AI 系统的每一项组件——数据集、基础模型、微调数据、依赖库、提示与评估制品——的机读清单,用于安全、合规与问责。
- ai-security№ 777
OWASP LLM Top 10
由 OWASP 维护的清单,列出对基于大型语言模型构建的应用最关键的十大安全风险。
● 参见
- № 033AI 安全(Safety)
- № 1026影子 AI
- № 391欧盟人工智能法案