RAG-Security
Was ist RAG-Security?
RAG-SecurityDisziplin zur Absicherung von Retrieval-Augmented-Generation-Pipelines, sodass die Dokumente, Vector Stores und Retrieval-Schritte, die ein LLM speisen, nicht vergiftet, missbraucht oder zur Datenexfiltration genutzt werden können.
RAG verankert die Antworten eines LLM in einem externen Korpus — Dateien, Datenbanken, Intranet-Seiten, Kundendokumente. Jedes Retrieval ist auch eine Angriffsfläche. Bedrohungen sind indirekte Prompt Injection durch bösartige Dokumente, Vergiftung des Vector Stores, Angriffe im Embedding-Raum zur Exfiltration sensibler Passagen, zu großzügige Autorisierungen, die unzulässige Dokumente liefern, und Datenlecks über Prompt-Logs. Die OWASP LLM Top 10 deckt viele dieser Risiken als LLM01, LLM02, LLM06 und LLM08 ab. Kontrollen sind strikte Zugriffskontrolle auf Indizes, Inhaltssanitization vor dem Chunking, signierte und provenance-getrackte Quellen, Retrieval-Audit-Logs, Output-Filterung sowie Anwendung derselben DLP- und Identitätsrichtlinien wie auf dem zugrunde liegenden Datenspeicher.
● Beispiele
- 01
Ein Angreifer lädt eine Confluence-Seite hoch, deren versteckter Text jede RAG-Antwort dazu bringt, eine bösartige URL einzubetten.
- 02
Ein vergifteter Vector Store liefert konsistent eine vom Angreifer gewählte Passage zurück, wenn Mitarbeitende nach Konkurrenzpreisen fragen.
● Häufige Fragen
Was ist RAG-Security?
Disziplin zur Absicherung von Retrieval-Augmented-Generation-Pipelines, sodass die Dokumente, Vector Stores und Retrieval-Schritte, die ein LLM speisen, nicht vergiftet, missbraucht oder zur Datenexfiltration genutzt werden können. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.
Was bedeutet RAG-Security?
Disziplin zur Absicherung von Retrieval-Augmented-Generation-Pipelines, sodass die Dokumente, Vector Stores und Retrieval-Schritte, die ein LLM speisen, nicht vergiftet, missbraucht oder zur Datenexfiltration genutzt werden können.
Wie funktioniert RAG-Security?
RAG verankert die Antworten eines LLM in einem externen Korpus — Dateien, Datenbanken, Intranet-Seiten, Kundendokumente. Jedes Retrieval ist auch eine Angriffsfläche. Bedrohungen sind indirekte Prompt Injection durch bösartige Dokumente, Vergiftung des Vector Stores, Angriffe im Embedding-Raum zur Exfiltration sensibler Passagen, zu großzügige Autorisierungen, die unzulässige Dokumente liefern, und Datenlecks über Prompt-Logs. Die OWASP LLM Top 10 deckt viele dieser Risiken als LLM01, LLM02, LLM06 und LLM08 ab. Kontrollen sind strikte Zugriffskontrolle auf Indizes, Inhaltssanitization vor dem Chunking, signierte und provenance-getrackte Quellen, Retrieval-Audit-Logs, Output-Filterung sowie Anwendung derselben DLP- und Identitätsrichtlinien wie auf dem zugrunde liegenden Datenspeicher.
Wie schützt man sich gegen RAG-Security?
Schutzmaßnahmen gegen RAG-Security kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.
Welche anderen Bezeichnungen gibt es für RAG-Security?
Übliche alternative Bezeichnungen: Secure RAG, RAG-Hardening.
● Verwandte Begriffe
- ai-security№ 528
Indirekte Prompt Injection
Variante der Prompt Injection, bei der bösartige Anweisungen in Drittinhalten (Webseiten, Dokumenten, E-Mails) versteckt sind, die ein LLM später über Retrieval, Browsing oder Tools aufnimmt.
- ai-security№ 866
Prompt Injection
Angriff, der die ursprünglichen Anweisungen eines LLM überschreibt, indem adversarieller Text in den Prompt eingeschleust wird, sodass das Modell Schutzmaßnahmen ignoriert oder vom Angreifer gewünschte Aktionen ausführt.
- ai-security№ 777
OWASP LLM Top 10
Von OWASP gepflegte Liste der zehn kritischsten Sicherheitsrisiken für Anwendungen, die auf großen Sprachmodellen aufbauen.
- ai-security№ 281
Daten-Poisoning
Angriff auf ein ML-System, bei dem Angreifer Trainingsdaten einschleusen, verändern oder umlabeln, sodass das resultierende Modell fehlerhaft arbeitet oder versteckte Backdoors enthält.
- ai-security№ 618
LLM-Guardrails
Mechanismen, die einschränken, was eine LLM-basierte Anwendung empfangen oder ausgeben darf, und damit Safety-, Sicherheits- und Geschäftsregeln rund um das zugrunde liegende Modell durchsetzen.
- ai-security№ 034
AI-Supply-Chain-Risiko
Summe der Bedrohungen aus Drittanbieter-Datensätzen, Basismodellen, Bibliotheken, Plug-ins und Infrastruktur, die Organisationen zum Bau und Betrieb von KI-Systemen kombinieren.
● Siehe auch
- № 028KI-Halluzination
- № 617LLM-Firewall