Entry № 034
AI 事件响应
AI 事件响应 是什么?
AI 事件响应组织用于检测、遏制、调查、通报与恢复涉及 AI 系统的事件的一整套流程、角色与剧本。
AI 事件响应在传统事件响应(NIST SP 800-61)的基础上,扩展到 AI 特有的事件:提示词注入滥用、代理失控、生产环境的越狱、规模化的有害或偏差输出、训练数据泄露、模型窃取、供应链入侵,以及由自主决策引发的物理或财务损失。响应活动借助 AIBOM 定位受影响系统、模型注册中心进行回滚、提示与输出日志进行取证、红队场景做分级。监管要求趋于明确:欧盟《人工智能法》要求报告高风险 AI 重大事件,经合组织 AI Incidents Monitor 与美国 AI Safety Institute 也发布了分类体系。成熟项目把 AI 事件与 SOC、隐私、法务和 trust and safety 工作流整合。
● 示例
- 01
某基于 LLM 的客服机器人在遭遇提示词注入后开始输出冒犯性语言,团队下线该部署、回滚系统提示并通知监管机构。
- 02
代理工作流执行未授权退款,财务、法务与 AI 安全团队借助 AIBOM 定位受影响账户。
● 常见问题
AI 事件响应 是什么?
组织用于检测、遏制、调查、通报与恢复涉及 AI 系统的事件的一整套流程、角色与剧本。 它属于网络安全的 AI 与机器学习安全 分类。
AI 事件响应 是什么意思?
组织用于检测、遏制、调查、通报与恢复涉及 AI 系统的事件的一整套流程、角色与剧本。
如何防御 AI 事件响应?
针对 AI 事件响应 的防御通常结合技术控制与运营实践,详见上方完整定义。
AI 事件响应 还有哪些其他名称?
常见的别称包括: AI IR, 生成式 AI 事件响应。