Утечка системного промпта LLM.

Атака, извлекающая скрытый системный промпт или инструкции развёрнутого приложения на большой языковой модели и раскрывающая его логику, секреты и инструменты. Относится к категории Безопасность ИИ и ML в кибербезопасности.

Атака, извлекающая скрытый системный промпт или инструкции развёрнутого приложения на большой языковой модели и раскрывающая его логику, секреты и инструменты.

Утечка системного промпта возникает, когда пользователь добивается, чтобы рабочее LLM-приложение раскрыло свой скрытый системный промпт, инструкции разработчика или сопутствующий контекст: API-ключи, внутреннюю документацию, описания инструментов. Атакующие применяют прямые запросы, ролевые сценарии, переводные трюки, обфускацию через кодировки символов, а также непрямой prompt injection через документы, которые модель должна резюмировать. Даже частичная утечка помогает реконструировать бизнес-логику, найти обходы guardrails и составить адресные джейлбрейки или тексты для социальной инженерии. Меры защиты: считать системный промпт по сути публичными данными, удалять из него секреты, делать серверные проверки политики, фильтровать вывод и просить модель не раскрывать инструкции, осознавая, что упорные атакующие нередко всё равно добиваются успеха.

Защита от Утечка системного промпта LLM обычно сочетает технические меры и операционные практики, как описано в определении выше.

Распространённые альтернативные названия: Извлечение системного промпта, Эксфильтрация промпта.