Безопасность RAG.

Дисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных. Относится к категории Безопасность ИИ и ML в кибербезопасности.

Дисциплина защиты пайплайнов RAG, чтобы документы, векторные хранилища и шаги извлечения, питающие LLM, нельзя было отравить, использовать во вред или применить для утечки данных.

RAG позволяет LLM опираться на внешний корпус — файлы, базы данных, интранет-страницы, документы клиентов. Каждое извлечение — это и поверхность атаки. Угрозы: косвенные промпт-инъекции из вредоносных документов, отравление векторного хранилища, искажающее поиск; атаки в embedding-пространстве, выкачивающие чувствительные фрагменты; чрезмерные права доступа, возвращающие пользователю запрещённые документы; утечки через логи промптов. OWASP LLM Top 10 относит многие из них к LLM01, LLM02, LLM06 и LLM08. Контроли — строгий доступ к индексам, санитизация контента до чанкования, подписанные источники с прослеживаемостью, аудит-логи поиска, фильтрация вывода и применение тех же DLP/identity-политик, что и для исходного хранилища.

Защита от Безопасность RAG обычно сочетает технические меры и операционные практики, как описано в определении выше.

Распространённые альтернативные названия: Безопасный RAG, Хардненинг RAG.