RAG.

Retrieval-Augmented Generation — паттерн использования LLM, при котором во время запроса извлекаются релевантные документы из хранилища знаний и подставляются в промпт. Относится к категории Безопасность ИИ и ML в кибербезопасности.

Retrieval-Augmented Generation — паттерн использования LLM, при котором во время запроса извлекаются релевантные документы из хранилища знаний и подставляются в промпт.

RAG дополняет большую языковую модель внешним шагом извлечения. На этапе инференса запрос пользователя превращается в эмбеддинг, векторный или ключевой индекс возвращает наиболее релевантные документы, и они склеиваются с промптом, чтобы LLM мог рассуждать или цитировать на их основе. RAG уменьшает галлюцинации и позволяет использовать приватные или свежие данные без переобучения. С точки зрения безопасности он создаёт новые поверхности атаки: непрямой prompt injection через документы, отравление корпуса или векторного хранилища, эксфильтрация через ответы модели, ошибки контроля доступа при общем индексе нескольких тенантов, инверсия эмбеддингов. Защищённые RAG-пайплайны изолируют недоверенный контент, применяют контроль доступа на уровне документа, санируют ввод, мониторят извлекаемые фрагменты и накладывают guardrails на вывод.

Защита от RAG обычно сочетает технические меры и операционные практики, как описано в определении выше.

Распространённые альтернативные названия: Извлечение-усиленная генерация, Grounded generation.