Косвенная промпт-инъекция
Что такое Косвенная промпт-инъекция?
Косвенная промпт-инъекцияРазновидность промпт-инъекции, при которой вредоносные инструкции скрыты в стороннем контенте (веб-страницы, документы, письма), который LLM затем получает через поиск, браузер или вызовы инструментов.
Косвенную промпт-инъекцию подробно описали Greshake и соавторы (2023): злоумышленнику не требуется напрямую общаться с моделью. Он размещает инструкции в ресурсе, который LLM будет обрабатывать — на странице, суммируемой агентом, в PDF из RAG-пайплайна, в письме для копилота или даже в alt-тексте изображения. Когда модель включает этот контент в свой контекст, она может выполнить встроенные инструкции, раскрыть историю диалога, вызвать инструменты или передать данные через специально подготовленные URL. Защита включает песочницу для контента, allow-листы источников, разделение данных и инструкций, контроль исходящего трафика и обязательное подтверждение пользователем чувствительных действий.
● Примеры
- 01
PDF-резюме со скрытым белым по белому текстом, который указывает HR-копилоту рекомендовать кандидата.
- 02
Веб-страница, при суммаризации которой ИИ-агент браузера отправляет письма пользователя на URL злоумышленника.
● Частые вопросы
Что такое Косвенная промпт-инъекция?
Разновидность промпт-инъекции, при которой вредоносные инструкции скрыты в стороннем контенте (веб-страницы, документы, письма), который LLM затем получает через поиск, браузер или вызовы инструментов. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Косвенная промпт-инъекция?
Разновидность промпт-инъекции, при которой вредоносные инструкции скрыты в стороннем контенте (веб-страницы, документы, письма), который LLM затем получает через поиск, браузер или вызовы инструментов.
Как работает Косвенная промпт-инъекция?
Косвенную промпт-инъекцию подробно описали Greshake и соавторы (2023): злоумышленнику не требуется напрямую общаться с моделью. Он размещает инструкции в ресурсе, который LLM будет обрабатывать — на странице, суммируемой агентом, в PDF из RAG-пайплайна, в письме для копилота или даже в alt-тексте изображения. Когда модель включает этот контент в свой контекст, она может выполнить встроенные инструкции, раскрыть историю диалога, вызвать инструменты или передать данные через специально подготовленные URL. Защита включает песочницу для контента, allow-листы источников, разделение данных и инструкций, контроль исходящего трафика и обязательное подтверждение пользователем чувствительных действий.
Как защититься от Косвенная промпт-инъекция?
Защита от Косвенная промпт-инъекция обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Косвенная промпт-инъекция?
Распространённые альтернативные названия: Междоменная промпт-инъекция, Сохранённая промпт-инъекция.
● Связанные термины
- ai-security№ 866
Промпт-инъекция
Атака, при которой во входной запрос LLM встраивается враждебный текст, переопределяющий исходные инструкции и заставляющий модель игнорировать ограничения или выполнять действия злоумышленника.
- ai-security№ 898
Безопасность RAG
Дисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных.
- ai-security№ 030
Джейлбрейк ИИ
Приём, заставляющий выровненную ИИ-модель обойти свои политики безопасности и выдать контент или поведение, которые оператор намеревался запретить.
- ai-security№ 777
OWASP LLM Top 10
Список OWASP с десятью наиболее критическими рисками безопасности для приложений, построенных на больших языковых моделях.
- ai-security№ 034
Риски цепочки поставок ИИ
Множество угроз, возникающих из сторонних датасетов, базовых моделей, библиотек, плагинов и инфраструктуры, которые организации комбинируют при построении и развёртывании ИИ-систем.
- ai-security№ 618
LLM Guardrails
Механизмы, ограничивающие, что приложение на основе LLM может принимать или выдавать, обеспечивая правила safety, безопасности и бизнеса вокруг базовой модели.
● См. также
- № 1163Контрабанда токенов
- № 657Атаки на MCP
- № 619Утечка системного промпта LLM