Shadow AI
Что такое Shadow AI?
Shadow AIИспользование сотрудниками ИИ-инструментов, моделей или сервисов без ведома или одобрения функций безопасности, приватности или governance в организации.
Shadow AI — преемник shadow IT в эпоху ИИ. Сотрудники вставляют исходный код, контракты, данные клиентов или стратегические документы в потребительские чат-боты, ставят несогласованные браузерные copilots и IDE-расширения или дообучают локальные модели на конфиденциальных данных. Риски включают утечку данных, потерю интеллектуальной собственности, нарушения требований (GDPR, HIPAA), промпт-инъекции через неуправляемые инструменты и неконтролируемые выходы моделей, попадающие в продакшен-решения. Меры противодействия — реестр и политика ИИ, санкционированные альтернативы (корпоративный GenAI с DLP и аудитом), контроль egress и CASB, изолированные браузерные рабочие процессы, обучение пользователей. Программы обычно выравниваются с NIST AI RMF и ISO/IEC 42001, интегрируя Shadow AI в общую AI governance.
● Примеры
- 01
Инженеры вставляют проприетарный код в бесплатный потребительский чат-бот для отладки.
- 02
Маркетинговая команда использует непроверенный AI-переводчик, который хранит отправленный текст на сторонних серверах.
● Частые вопросы
Что такое Shadow AI?
Использование сотрудниками ИИ-инструментов, моделей или сервисов без ведома или одобрения функций безопасности, приватности или governance в организации. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Shadow AI?
Использование сотрудниками ИИ-инструментов, моделей или сервисов без ведома или одобрения функций безопасности, приватности или governance в организации.
Как работает Shadow AI?
Shadow AI — преемник shadow IT в эпоху ИИ. Сотрудники вставляют исходный код, контракты, данные клиентов или стратегические документы в потребительские чат-боты, ставят несогласованные браузерные copilots и IDE-расширения или дообучают локальные модели на конфиденциальных данных. Риски включают утечку данных, потерю интеллектуальной собственности, нарушения требований (GDPR, HIPAA), промпт-инъекции через неуправляемые инструменты и неконтролируемые выходы моделей, попадающие в продакшен-решения. Меры противодействия — реестр и политика ИИ, санкционированные альтернативы (корпоративный GenAI с DLP и аудитом), контроль egress и CASB, изолированные браузерные рабочие процессы, обучение пользователей. Программы обычно выравниваются с NIST AI RMF и ISO/IEC 42001, интегрируя Shadow AI в общую AI governance.
Как защититься от Shadow AI?
Защита от Shadow AI обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Shadow AI?
Распространённые альтернативные названия: Несанкционированный ИИ, BYOAI.
● Связанные термины
- ai-security№ 027
Управление ИИ (AI Governance)
Совокупность политик, процессов, ролей и средств контроля, с помощью которых организации и регуляторы обеспечивают ответственную и законную разработку, развёртывание и эксплуатацию ИИ-систем.
- ai-security№ 025
AI Bill of Materials (AIBOM)
Машиночитаемый перечень всех компонентов ИИ-системы — датасетов, базовых моделей, данных дообучения, библиотек, промптов и оценочных артефактов — используемый для безопасности, соответствия и подотчётности.
- ai-security№ 034
Риски цепочки поставок ИИ
Множество угроз, возникающих из сторонних датасетов, базовых моделей, библиотек, плагинов и инфраструктуры, которые организации комбинируют при построении и развёртывании ИИ-систем.
- cloud-security№ 148
CASB (брокер безопасности облачного доступа)
Точка применения политик между пользователями и облачными/SaaS-приложениями, обеспечивающая видимость, защиту данных и противодействие угрозам.
- ai-security№ 281
Отравление данных
Атака на систему машинного обучения, при которой злоумышленники внедряют, изменяют или меняют разметку обучающих данных, чтобы итоговая модель работала неверно или содержала скрытые бэкдоры.
- ai-security№ 029
Реагирование на инциденты ИИ
Совокупность процессов, ролей и плейбуков, которые организация использует для обнаружения, локализации, расследования, коммуникации и восстановления после инцидентов, связанных с ИИ-системами.