Избыточная агентность (Excessive Agency)
Что такое Избыточная агентность (Excessive Agency)?
Избыточная агентность (Excessive Agency)OWASP LLM06 — наделение LLM-системы большим набором функций, прав или автономии, чем реально требуется, из-за чего одна prompt-инъекция или ошибка модели превращается в непропорциональный реальный ущерб.
Избыточная агентность — пункт LLM06 в OWASP Top 10 для приложений больших языковых моделей. Описывает класс рисков, возникающих, когда LLM-системе выдают больше инструментов, более широкие права или большую автономию, чем требует сценарий использования: например, агенту поддержки даны права записи в продакшн API биллинга, или код-ассистенту разрешено и читать репозитории, и без ревью пушить в main. Уязвимость кроется не в модели, а в окружающей системе: когда агент в итоге будет скомпрометирован (через prompt-инъекцию, галлюцинацию или просто ошибку), масштаб ущерба определяется именно тем, какие полномочия ему ранее предоставили. Меры смягчения опираются на принцип минимальных привилегий: сужать каждый инструмент до минимально необходимых данных и действий, требовать человеческого подтверждения для необратимых операций, предпочитать инструменты только для чтения или работу со стейджингом, разделять модели планирования и исполнения, инструментировать вызовы инструментов, чтобы аномальные последовательности всплывали в детектировании.
● Примеры
- 01
Инструмент сортировки тикетов на базе LLM имеет полный админ-доступ к CRM и после prompt-инъекции из письма поддержки массово меняет записи о клиентах.
- 02
Кодовый агент ограничен только открытием pull request'ов, а не прямым push в main, поэтому неудачное предложение остаётся пригодным для ревью и не уходит в продакшн.
● Частые вопросы
Что такое Избыточная агентность (Excessive Agency)?
OWASP LLM06 — наделение LLM-системы большим набором функций, прав или автономии, чем реально требуется, из-за чего одна prompt-инъекция или ошибка модели превращается в непропорциональный реальный ущерб. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Избыточная агентность (Excessive Agency)?
OWASP LLM06 — наделение LLM-системы большим набором функций, прав или автономии, чем реально требуется, из-за чего одна prompt-инъекция или ошибка модели превращается в непропорциональный реальный ущерб.
Как защититься от Избыточная агентность (Excessive Agency)?
Защита от Избыточная агентность (Excessive Agency) обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Избыточная агентность (Excessive Agency)?
Распространённые альтернативные названия: LLM06, AI-агент с избыточными правами.