Риски цепочки поставок ИИ
Что такое Риски цепочки поставок ИИ?
Риски цепочки поставок ИИМножество угроз, возникающих из сторонних датасетов, базовых моделей, библиотек, плагинов и инфраструктуры, которые организации комбинируют при построении и развёртывании ИИ-систем.
Современный ИИ редко строят с нуля. Команды берут базовые модели с Hugging Face, используют датасеты из публичных кроулов, ставят пакеты Python и Node, интегрируются с векторными БД и потребляют API хостируемых моделей. Каждое звено — это риск цепочки поставок: отравленные или с бэкдором веса, вредоносные pickle-файлы, typosquatting в PyPI, промпт-инъекционные нагрузки в датасетах, dependency confusion, компрометированные плагины и небезопасная инференс-инфраструктура. OWASP LLM Top 10 явно отмечает уязвимости цепочки поставок, NIST AI 100-2 и EU AI Act требуют прослеживаемости. Контроли — AIBOM, подписанные артефакты моделей (Sigstore для моделей, Model Signing Spec), отслеживание происхождения, песочница для загрузки весов, фиксация зависимостей и постоянный мониторинг апстрим-реестров.
● Примеры
- 01
Модель на Hugging Face, опубликованная со вредоносной pickle-нагрузкой, исполняющей код при загрузке.
- 02
Typosquatted клиентская библиотека векторной БД на PyPI, утекающая API-ключи на этапе установки.
● Частые вопросы
Что такое Риски цепочки поставок ИИ?
Множество угроз, возникающих из сторонних датасетов, базовых моделей, библиотек, плагинов и инфраструктуры, которые организации комбинируют при построении и развёртывании ИИ-систем. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Риски цепочки поставок ИИ?
Множество угроз, возникающих из сторонних датасетов, базовых моделей, библиотек, плагинов и инфраструктуры, которые организации комбинируют при построении и развёртывании ИИ-систем.
Как работает Риски цепочки поставок ИИ?
Современный ИИ редко строят с нуля. Команды берут базовые модели с Hugging Face, используют датасеты из публичных кроулов, ставят пакеты Python и Node, интегрируются с векторными БД и потребляют API хостируемых моделей. Каждое звено — это риск цепочки поставок: отравленные или с бэкдором веса, вредоносные pickle-файлы, typosquatting в PyPI, промпт-инъекционные нагрузки в датасетах, dependency confusion, компрометированные плагины и небезопасная инференс-инфраструктура. OWASP LLM Top 10 явно отмечает уязвимости цепочки поставок, NIST AI 100-2 и EU AI Act требуют прослеживаемости. Контроли — AIBOM, подписанные артефакты моделей (Sigstore для моделей, Model Signing Spec), отслеживание происхождения, песочница для загрузки весов, фиксация зависимостей и постоянный мониторинг апстрим-реестров.
Как защититься от Риски цепочки поставок ИИ?
Защита от Риски цепочки поставок ИИ обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Риски цепочки поставок ИИ?
Распространённые альтернативные названия: Риск цепочки поставок AI/ML, Цепочка поставок моделей.
● Связанные термины
- ai-security№ 025
AI Bill of Materials (AIBOM)
Машиночитаемый перечень всех компонентов ИИ-системы — датасетов, базовых моделей, данных дообучения, библиотек, промптов и оценочных артефактов — используемый для безопасности, соответствия и подотчётности.
- attacks№ 1116
Атака на цепочку поставок
Атака, при которой компрометируется доверенный сторонний поставщик ПО, оборудования или услуг с целью добраться до его конечных клиентов.
- ai-security№ 281
Отравление данных
Атака на систему машинного обучения, при которой злоумышленники внедряют, изменяют или меняют разметку обучающих данных, чтобы итоговая модель работала неверно или содержала скрытые бэкдоры.
- ai-security№ 081
Бэкдор-атака (ML)
Атака времени обучения, встраивающая скрытое поведение: на чистых входах модель работает нормально, а при появлении секретного триггера выдаёт результат, выбранный злоумышленником.
- ai-security№ 691
MLSecOps
Дисциплина интеграции средств безопасности и управления рисками во весь жизненный цикл машинного обучения — от сбора данных до обучения, развёртывания, мониторинга и вывода из эксплуатации.
- ai-security№ 1026
Shadow AI
Использование сотрудниками ИИ-инструментов, моделей или сервисов без ведома или одобрения функций безопасности, приватности или governance в организации.
● См. также
- № 528Косвенная промпт-инъекция
- № 703Извлечение модели
- № 777OWASP LLM Top 10
- № 028Галлюцинация ИИ
- № 1123Синтетический медиаконтент
- № 898Безопасность RAG
- № 729Атака Nightshade
- № 391Закон ЕС об ИИ