OWASP LLM Top 10
Что такое OWASP LLM Top 10?
OWASP LLM Top 10Список OWASP с десятью наиболее критическими рисками безопасности для приложений, построенных на больших языковых моделях.
Впервые опубликован в 2023 году и развивается под названием OWASP Top 10 for LLM Applications. В нём перечислены такие риски, как промпт-инъекция (LLM01), небезопасная обработка вывода, отравление обучающих данных, отказ в обслуживании модели, уязвимости цепочки поставок, утечка чувствительной информации, небезопасный дизайн плагинов, избыточная автономия, чрезмерное доверие к модели и её кража. Каждый пункт содержит сценарии атак, бизнес-влияние и рекомендации для разработчиков, архитекторов и команд безопасности. Проект повторяет структуру классического OWASP Top 10 для веб-приложений и регулярно упоминается в материалах NIST, ENISA, MITRE ATLAS и руководствах EU AI Act как базовый стандарт безопасности LLM.
● Примеры
- 01
Использование LLM01 (промпт-инъекция) и LLM02 (небезопасная обработка вывода) как обязательных пунктов модели угроз RAG-приложения.
- 02
Сопоставление вендорского security-вопросника с OWASP LLM Top 10 перед утверждением корпоративного развёртывания GenAI.
● Частые вопросы
Что такое OWASP LLM Top 10?
Список OWASP с десятью наиболее критическими рисками безопасности для приложений, построенных на больших языковых моделях. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает OWASP LLM Top 10?
Список OWASP с десятью наиболее критическими рисками безопасности для приложений, построенных на больших языковых моделях.
Как работает OWASP LLM Top 10?
Впервые опубликован в 2023 году и развивается под названием OWASP Top 10 for LLM Applications. В нём перечислены такие риски, как промпт-инъекция (LLM01), небезопасная обработка вывода, отравление обучающих данных, отказ в обслуживании модели, уязвимости цепочки поставок, утечка чувствительной информации, небезопасный дизайн плагинов, избыточная автономия, чрезмерное доверие к модели и её кража. Каждый пункт содержит сценарии атак, бизнес-влияние и рекомендации для разработчиков, архитекторов и команд безопасности. Проект повторяет структуру классического OWASP Top 10 для веб-приложений и регулярно упоминается в материалах NIST, ENISA, MITRE ATLAS и руководствах EU AI Act как базовый стандарт безопасности LLM.
Как защититься от OWASP LLM Top 10?
Защита от OWASP LLM Top 10 обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия OWASP LLM Top 10?
Распространённые альтернативные названия: OWASP Top 10 для LLM-приложений, OWASP LLM01-LLM10.
● Связанные термины
- ai-security№ 866
Промпт-инъекция
Атака, при которой во входной запрос LLM встраивается враждебный текст, переопределяющий исходные инструкции и заставляющий модель игнорировать ограничения или выполнять действия злоумышленника.
- ai-security№ 528
Косвенная промпт-инъекция
Разновидность промпт-инъекции, при которой вредоносные инструкции скрыты в стороннем контенте (веб-страницы, документы, письма), который LLM затем получает через поиск, браузер или вызовы инструментов.
- ai-security№ 898
Безопасность RAG
Дисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных.
- ai-security№ 034
Риски цепочки поставок ИИ
Множество угроз, возникающих из сторонних датасетов, базовых моделей, библиотек, плагинов и инфраструктуры, которые организации комбинируют при построении и развёртывании ИИ-систем.
- ai-security№ 618
LLM Guardrails
Механизмы, ограничивающие, что приложение на основе LLM может принимать или выдавать, обеспечивая правила safety, безопасности и бизнеса вокруг базовой модели.
- ai-security№ 691
MLSecOps
Дисциплина интеграции средств безопасности и управления рисками во весь жизненный цикл машинного обучения — от сбора данных до обучения, развёртывания, мониторинга и вывода из эксплуатации.
● См. также
- № 030Джейлбрейк ИИ
- № 281Отравление данных
- № 703Извлечение модели
- № 704Инверсия модели
- № 018Состязательный пример
- № 393Атака уклонения (ML)
- № 666Атака на вывод членства
- № 032AI Red Team