影子 AI
影子 AI 是什么?
影子 AI员工在未获组织安全、隐私或治理职能知情或批准的情况下使用 AI 工具、模型或服务的行为。
影子 AI 是 AI 时代的影子 IT。员工把源代码、合同、客户数据或战略文档粘贴到面向消费者的聊天机器人,安装未授权的浏览器副驾驶与 IDE 扩展,或者用机密数据微调本地模型。风险涵盖数据外泄、知识产权流失、合规失败(如 GDPR、HIPAA)、通过未受管工具引入的提示词注入,以及不受控的模型输出回流到生产决策。缓解措施需结合 AI 资产清单与政策、官方批准的替代方案(具备 DLP 与审计的企业 GenAI)、出口与 CASB 控制、浏览器隔离工作流以及清晰的用户培训。项目通常对齐 NIST AI RMF 与 ISO/IEC 42001,把影子 AI 纳入整体 AI 治理。
● 示例
- 01
工程师将专有代码粘贴到免费的消费者聊天机器人中调试。
- 02
市场团队使用未经审核的 AI 翻译服务,该服务把提交的文本存储到第三方服务器。
● 常见问题
影子 AI 是什么?
员工在未获组织安全、隐私或治理职能知情或批准的情况下使用 AI 工具、模型或服务的行为。 它属于网络安全的 AI 与机器学习安全 分类。
影子 AI 是什么意思?
员工在未获组织安全、隐私或治理职能知情或批准的情况下使用 AI 工具、模型或服务的行为。
影子 AI 是如何工作的?
影子 AI 是 AI 时代的影子 IT。员工把源代码、合同、客户数据或战略文档粘贴到面向消费者的聊天机器人,安装未授权的浏览器副驾驶与 IDE 扩展,或者用机密数据微调本地模型。风险涵盖数据外泄、知识产权流失、合规失败(如 GDPR、HIPAA)、通过未受管工具引入的提示词注入,以及不受控的模型输出回流到生产决策。缓解措施需结合 AI 资产清单与政策、官方批准的替代方案(具备 DLP 与审计的企业 GenAI)、出口与 CASB 控制、浏览器隔离工作流以及清晰的用户培训。项目通常对齐 NIST AI RMF 与 ISO/IEC 42001,把影子 AI 纳入整体 AI 治理。
如何防御 影子 AI?
针对 影子 AI 的防御通常结合技术控制与运营实践,详见上方完整定义。
影子 AI 还有哪些其他名称?
常见的别称包括: 未授权 AI, BYOAI。
● 相关术语
- ai-security№ 027
AI 治理
组织和监管机构用于确保 AI 系统以负责任、合法方式开发、部署与运营的政策、流程、角色与控制的总和。
- ai-security№ 025
AI 物料清单(AIBOM)
对构成 AI 系统的每一项组件——数据集、基础模型、微调数据、依赖库、提示与评估制品——的机读清单,用于安全、合规与问责。
- ai-security№ 034
AI 供应链风险
组织在构建和部署 AI 系统时所组合的第三方数据集、基础模型、依赖库、插件与基础设施带来的威胁集合。
- cloud-security№ 148
CASB(云访问安全代理)
位于用户与云/SaaS 应用之间的策略执行点,用于实现可视化、数据保护和威胁防护。
- ai-security№ 281
数据投毒
针对机器学习系统的攻击,攻击者注入、篡改或重新标注训练数据,使最终模型出现错误行为或被植入隐蔽后门。
- ai-security№ 029
AI 事件响应
组织用于检测、遏制、调查、通报与恢复涉及 AI 系统的事件的一整套流程、角色与剧本。