Избыточная агентность (Excessive Agency)
Что такое Избыточная агентность (Excessive Agency)?
Избыточная агентность (Excessive Agency)OWASP LLM06 — наделение LLM-системы большим набором функций, прав или автономии, чем реально требуется, из-за чего одна prompt-инъекция или ошибка модели превращается в непропорциональный реальный ущерб.
Избыточная агентность — пункт LLM06 в OWASP Top 10 для приложений больших языковых моделей. Описывает класс рисков, возникающих, когда LLM-системе выдают больше инструментов, более широкие права или большую автономию, чем требует сценарий использования: например, агенту поддержки даны права записи в продакшн API биллинга, или код-ассистенту разрешено и читать репозитории, и без ревью пушить в main. Уязвимость кроется не в модели, а в окружающей системе: когда агент в итоге будет скомпрометирован (через prompt-инъекцию, галлюцинацию или просто ошибку), масштаб ущерба определяется именно тем, какие полномочия ему ранее предоставили. Меры смягчения опираются на принцип минимальных привилегий: сужать каждый инструмент до минимально необходимых данных и действий, требовать человеческого подтверждения для необратимых операций, предпочитать инструменты только для чтения или работу со стейджингом, разделять модели планирования и исполнения, инструментировать вызовы инструментов, чтобы аномальные последовательности всплывали в детектировании.
● Примеры
- 01
Инструмент сортировки тикетов на базе LLM имеет полный админ-доступ к CRM и после prompt-инъекции из письма поддержки массово меняет записи о клиентах.
- 02
Кодовый агент ограничен только открытием pull request'ов, а не прямым push в main, поэтому неудачное предложение остаётся пригодным для ревью и не уходит в продакшн.
● Частые вопросы
Что такое Избыточная агентность (Excessive Agency)?
OWASP LLM06 — наделение LLM-системы большим набором функций, прав или автономии, чем реально требуется, из-за чего одна prompt-инъекция или ошибка модели превращается в непропорциональный реальный ущерб. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Избыточная агентность (Excessive Agency)?
OWASP LLM06 — наделение LLM-системы большим набором функций, прав или автономии, чем реально требуется, из-за чего одна prompt-инъекция или ошибка модели превращается в непропорциональный реальный ущерб.
Как работает Избыточная агентность (Excessive Agency)?
Избыточная агентность — пункт LLM06 в OWASP Top 10 для приложений больших языковых моделей. Описывает класс рисков, возникающих, когда LLM-системе выдают больше инструментов, более широкие права или большую автономию, чем требует сценарий использования: например, агенту поддержки даны права записи в продакшн API биллинга, или код-ассистенту разрешено и читать репозитории, и без ревью пушить в main. Уязвимость кроется не в модели, а в окружающей системе: когда агент в итоге будет скомпрометирован (через prompt-инъекцию, галлюцинацию или просто ошибку), масштаб ущерба определяется именно тем, какие полномочия ему ранее предоставили. Меры смягчения опираются на принцип минимальных привилегий: сужать каждый инструмент до минимально необходимых данных и действий, требовать человеческого подтверждения для необратимых операций, предпочитать инструменты только для чтения или работу со стейджингом, разделять модели планирования и исполнения, инструментировать вызовы инструментов, чтобы аномальные последовательности всплывали в детектировании.
Как защититься от Избыточная агентность (Excessive Agency)?
Защита от Избыточная агентность (Excessive Agency) обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Избыточная агентность (Excessive Agency)?
Распространённые альтернативные названия: LLM06, AI-агент с избыточными правами.
● Связанные термины
- ai-security№ 870
OWASP LLM Top 10
Список OWASP с десятью наиболее критическими рисками безопасности для приложений, построенных на больших языковых моделях.
- ai-security№ 027
Безопасность агентного ИИ
Дисциплина защиты автономных LLM-агентов, которые планируют, вызывают инструменты и действуют в реальных системах, где prompt-инъекция превращается в удалённое выполнение кода, а избыточная агентность — в реальный масштаб разрушения.
- identity-access№ 955
Принцип наименьших привилегий
Принцип безопасности, согласно которому каждому пользователю, процессу или сервису выдаётся только тот минимум прав, который строго необходим для его задач.
- ai-security№ 689
LLM Guardrails
Механизмы, ограничивающие, что приложение на основе LLM может принимать или выдавать, обеспечивая правила safety, безопасности и бизнеса вокруг базовой модели.
- ai-security№ 969
Промпт-инъекция
Атака, при которой во входной запрос LLM встраивается враждебный текст, переопределяющий исходные инструкции и заставляющий модель игнорировать ограничения или выполнять действия злоумышленника.
- ai-security№ 1285
Tool-Use Injection
Attacks that manipulate an LLM agent's tool-calling layer — forging tool arguments, smuggling instructions through tool outputs, or coaxing the model into calling unsanctioned tools.