RAG
Что такое RAG?
RAGRetrieval-Augmented Generation — паттерн использования LLM, при котором во время запроса извлекаются релевантные документы из хранилища знаний и подставляются в промпт.
RAG дополняет большую языковую модель внешним шагом извлечения. На этапе инференса запрос пользователя превращается в эмбеддинг, векторный или ключевой индекс возвращает наиболее релевантные документы, и они склеиваются с промптом, чтобы LLM мог рассуждать или цитировать на их основе. RAG уменьшает галлюцинации и позволяет использовать приватные или свежие данные без переобучения. С точки зрения безопасности он создаёт новые поверхности атаки: непрямой prompt injection через документы, отравление корпуса или векторного хранилища, эксфильтрация через ответы модели, ошибки контроля доступа при общем индексе нескольких тенантов, инверсия эмбеддингов. Защищённые RAG-пайплайны изолируют недоверенный контент, применяют контроль доступа на уровне документа, санируют ввод, мониторят извлекаемые фрагменты и накладывают guardrails на вывод.
● Примеры
- 01
Корпоративный чат-бот отвечает на вопросы HR, доставая PDF с политиками из векторного хранилища.
- 02
Вредоносная вики-страница содержит скрытые инструкции, которые перехватывают RAG-ассистент через непрямой prompt injection.
● Частые вопросы
Что такое RAG?
Retrieval-Augmented Generation — паттерн использования LLM, при котором во время запроса извлекаются релевантные документы из хранилища знаний и подставляются в промпт. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает RAG?
Retrieval-Augmented Generation — паттерн использования LLM, при котором во время запроса извлекаются релевантные документы из хранилища знаний и подставляются в промпт.
Как защититься от RAG?
Защита от RAG обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия RAG?
Распространённые альтернативные названия: Извлечение-усиленная генерация, Grounded generation.