Безопасность RAG
Что такое Безопасность RAG?
Безопасность RAGДисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных.
RAG позволяет LLM опираться на внешний корпус — файлы, базы данных, интранет-страницы, документы клиентов. Каждое извлечение — это и поверхность атаки. Угрозы: косвенные промпт-инъекции из вредоносных документов, отравление векторного хранилища, искажающее поиск; атаки в embedding-пространстве, выкачивающие чувствительные фрагменты; чрезмерные права доступа, возвращающие пользователю запрещённые документы; утечки через логи промптов. OWASP LLM Top 10 относит многие из них к LLM01, LLM02, LLM06 и LLM08. Контроли — строгий доступ к индексам, санитизация контента до чанкования, подписанные источники с прослеживаемостью, аудит-логи поиска, фильтрация вывода и применение тех же DLP/identity-политик, что и для исходного хранилища.
● Примеры
- 01
Злоумышленник загружает Confluence-страницу, скрытый текст которой требует, чтобы каждый ответ RAG содержал вредоносную ссылку.
- 02
Отравленное векторное хранилище неизменно возвращает выбранный злоумышленником фрагмент, когда сотрудники спрашивают про цены конкурентов.
● Частые вопросы
Что такое Безопасность RAG?
Дисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Безопасность RAG?
Дисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных.
Как защититься от Безопасность RAG?
Защита от Безопасность RAG обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Безопасность RAG?
Распространённые альтернативные названия: Безопасный RAG, Хардненинг RAG.