LLM Firewall
Что такое LLM Firewall?
LLM FirewallКонтроль безопасности, расположенный между пользователями и большой языковой моделью, который в реальном времени проверяет промпты, извлечённый контекст и выводы, блокируя или переписывая трафик, нарушающий политику.
LLM Firewall (также AI Firewall или LLM gateway) выполняет инспекцию, классификацию и применение политик к трафику в обе стороны LLM-эндпоинтов. Типичные функции — детектирование промпт-инъекций и джейлбрейков, редактирование PII и секретов, модерация контента, валидация схем и вызовов инструментов, ограничение скорости по идентичности, контроль egress RAG, подробные журналы аудита. Среди продуктов и open-source проектов — LLM Guard, Prompt Shield, Lakera Guard, а также решения Cloudflare, F5, Palo Alto и гиперскейлеров. LLM Firewall дополняет, но не заменяет встроенные guardrails модели, безопасный дизайн RAG, идентификационный контроль доступа и практики MLSecOps. Наиболее эффективен в архитектурах defence-in-depth, где поверх вендорской safety применяются собственные политики организации.
● Примеры
- 01
Шлюз блокирует промпты с номерами банковских карт до того, как они попадут в API LLM.
- 02
LLM Firewall удаляет известную сигнатуру промпт-инъекции из документа до его включения в RAG-контекст.
● Частые вопросы
Что такое LLM Firewall?
Контроль безопасности, расположенный между пользователями и большой языковой моделью, который в реальном времени проверяет промпты, извлечённый контекст и выводы, блокируя или переписывая трафик, нарушающий политику. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает LLM Firewall?
Контроль безопасности, расположенный между пользователями и большой языковой моделью, который в реальном времени проверяет промпты, извлечённый контекст и выводы, блокируя или переписывая трафик, нарушающий политику.
Как работает LLM Firewall?
LLM Firewall (также AI Firewall или LLM gateway) выполняет инспекцию, классификацию и применение политик к трафику в обе стороны LLM-эндпоинтов. Типичные функции — детектирование промпт-инъекций и джейлбрейков, редактирование PII и секретов, модерация контента, валидация схем и вызовов инструментов, ограничение скорости по идентичности, контроль egress RAG, подробные журналы аудита. Среди продуктов и open-source проектов — LLM Guard, Prompt Shield, Lakera Guard, а также решения Cloudflare, F5, Palo Alto и гиперскейлеров. LLM Firewall дополняет, но не заменяет встроенные guardrails модели, безопасный дизайн RAG, идентификационный контроль доступа и практики MLSecOps. Наиболее эффективен в архитектурах defence-in-depth, где поверх вендорской safety применяются собственные политики организации.
Как защититься от LLM Firewall?
Защита от LLM Firewall обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия LLM Firewall?
Распространённые альтернативные названия: AI Firewall, LLM-шлюз.
● Связанные термины
- ai-security№ 618
LLM Guardrails
Механизмы, ограничивающие, что приложение на основе LLM может принимать или выдавать, обеспечивая правила safety, безопасности и бизнеса вокруг базовой модели.
- ai-security№ 866
Промпт-инъекция
Атака, при которой во входной запрос LLM встраивается враждебный текст, переопределяющий исходные инструкции и заставляющий модель игнорировать ограничения или выполнять действия злоумышленника.
- ai-security№ 777
OWASP LLM Top 10
Список OWASP с десятью наиболее критическими рисками безопасности для приложений, построенных на больших языковых моделях.
- ai-security№ 898
Безопасность RAG
Дисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных.
- ai-security№ 027
Управление ИИ (AI Governance)
Совокупность политик, процессов, ролей и средств контроля, с помощью которых организации и регуляторы обеспечивают ответственную и законную разработку, развёртывание и эксплуатацию ИИ-систем.
- ai-security№ 691
MLSecOps
Дисциплина интеграции средств безопасности и управления рисками во весь жизненный цикл машинного обучения — от сбора данных до обучения, развёртывания, мониторинга и вывода из эксплуатации.