LLM Firewall
Что такое LLM Firewall?
LLM FirewallКонтроль безопасности, расположенный между пользователями и большой языковой моделью, который в реальном времени проверяет промпты, извлечённый контекст и выводы, блокируя или переписывая трафик, нарушающий политику.
LLM Firewall (также AI Firewall или LLM gateway) выполняет инспекцию, классификацию и применение политик к трафику в обе стороны LLM-эндпоинтов. Типичные функции — детектирование промпт-инъекций и джейлбрейков, редактирование PII и секретов, модерация контента, валидация схем и вызовов инструментов, ограничение скорости по идентичности, контроль egress RAG, подробные журналы аудита. Среди продуктов и open-source проектов — LLM Guard, Prompt Shield, Lakera Guard, а также решения Cloudflare, F5, Palo Alto и гиперскейлеров. LLM Firewall дополняет, но не заменяет встроенные guardrails модели, безопасный дизайн RAG, идентификационный контроль доступа и практики MLSecOps. Наиболее эффективен в архитектурах defence-in-depth, где поверх вендорской safety применяются собственные политики организации.
● Примеры
- 01
Шлюз блокирует промпты с номерами банковских карт до того, как они попадут в API LLM.
- 02
LLM Firewall удаляет известную сигнатуру промпт-инъекции из документа до его включения в RAG-контекст.
● Частые вопросы
Что такое LLM Firewall?
Контроль безопасности, расположенный между пользователями и большой языковой моделью, который в реальном времени проверяет промпты, извлечённый контекст и выводы, блокируя или переписывая трафик, нарушающий политику. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает LLM Firewall?
Контроль безопасности, расположенный между пользователями и большой языковой моделью, который в реальном времени проверяет промпты, извлечённый контекст и выводы, блокируя или переписывая трафик, нарушающий политику.
Как защититься от LLM Firewall?
Защита от LLM Firewall обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия LLM Firewall?
Распространённые альтернативные названия: AI Firewall, LLM-шлюз.