RAG
Qu'est-ce que RAG ?
RAGRetrieval-Augmented Generation : patron pour LLM qui recupere des documents pertinents depuis un magasin de connaissances au moment de la requete et les injecte dans le prompt pour ancrer la reponse.
Le RAG augmente un grand modele de langage par une etape de recuperation externe. Au moment de l'inference, la requete utilisateur est encodee en embedding, un index vectoriel ou de mots-cles renvoie les documents les plus pertinents, et ceux-ci sont concatenes dans le prompt pour que le LLM puisse les citer ou raisonner dessus. Le RAG reduit les hallucinations et permet d'utiliser des donnees privees ou recentes sans reentrainement. Cote securite, il cree une nouvelle surface d'attaque : prompt injection indirect via les documents, empoisonnement du corpus ou du vector store, exfiltration via les sorties du modele, erreurs de controle d'acces quand plusieurs tenants partagent un index, attaques d'inversion d'embeddings. Les pipelines RAG durcis isolent le contenu non fiable, appliquent un controle d'acces par document, sanitisent les entrees, surveillent les extraits recuperes et appliquent des garde-fous en sortie.
● Exemples
- 01
Un chatbot d'entreprise repond aux questions RH en recuperant des PDF de politique depuis un vector store.
- 02
Une page wiki malveillante contient des instructions cachees qui detournent un assistant RAG par prompt injection indirecte.
● Questions fréquentes
Qu'est-ce que RAG ?
Retrieval-Augmented Generation : patron pour LLM qui recupere des documents pertinents depuis un magasin de connaissances au moment de la requete et les injecte dans le prompt pour ancrer la reponse. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.
Que signifie RAG ?
Retrieval-Augmented Generation : patron pour LLM qui recupere des documents pertinents depuis un magasin de connaissances au moment de la requete et les injecte dans le prompt pour ancrer la reponse.
Comment fonctionne RAG ?
Le RAG augmente un grand modele de langage par une etape de recuperation externe. Au moment de l'inference, la requete utilisateur est encodee en embedding, un index vectoriel ou de mots-cles renvoie les documents les plus pertinents, et ceux-ci sont concatenes dans le prompt pour que le LLM puisse les citer ou raisonner dessus. Le RAG reduit les hallucinations et permet d'utiliser des donnees privees ou recentes sans reentrainement. Cote securite, il cree une nouvelle surface d'attaque : prompt injection indirect via les documents, empoisonnement du corpus ou du vector store, exfiltration via les sorties du modele, erreurs de controle d'acces quand plusieurs tenants partagent un index, attaques d'inversion d'embeddings. Les pipelines RAG durcis isolent le contenu non fiable, appliquent un controle d'acces par document, sanitisent les entrees, surveillent les extraits recuperes et appliquent des garde-fous en sortie.
Comment se défendre contre RAG ?
Les défenses contre RAG combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.
Quels sont les autres noms de RAG ?
Noms alternatifs courants : Generation augmentee par recuperation, Generation ancree.
● Termes liés
- ai-security№ 1198
Securite des bases de donnees vectorielles
Ensemble de controles qui protegent les bases vectorielles utilisees par les systemes IA contre la fuite de donnees, l'empoisonnement, le cross-tenant et les compromissions operationnelles ou de supply chain.
- ai-security№ 376
Attaques sur embeddings
Famille d'attaques contre les vecteurs d'embeddings IA qui recuperent, alterent ou detournent l'entree originale ou sa semantique, incluant l'inversion d'embedding et l'empoisonnement par similarite.
- ai-security№ 866
Injection de prompt
Attaque qui détourne les instructions d'origine d'un LLM en insérant un texte adversarial dans le prompt, poussant le modèle à ignorer ses garde-fous ou exécuter les actions choisies par l'attaquant.
- ai-security№ 031
Model Card IA
Document standardise, introduit par Margaret Mitchell et collegues en 2018, qui decrit l'usage prevu, les donnees d'entrainement, la performance, les limites et les considerations ethiques d'un modele ML.
- ai-security№ 281
Empoisonnement de données
Attaque contre un système d'apprentissage automatique dans laquelle l'adversaire injecte, modifie ou réétiquette des données d'entraînement pour que le modèle résultant se comporte mal ou contienne des portes dérobées cachées.