OWASP LLM Top 10
Was ist OWASP LLM Top 10?
OWASP LLM Top 10Von OWASP gepflegte Liste der zehn kritischsten Sicherheitsrisiken für Anwendungen, die auf großen Sprachmodellen aufbauen.
Erstmals 2023 veröffentlicht und als OWASP Top 10 for LLM Applications fortlaufend aktualisiert, katalogisiert die Liste Risiken wie Prompt Injection (LLM01), unsichere Ausgabeverarbeitung, Training-Data-Poisoning, Modell-DoS, Supply-Chain-Schwachstellen, Offenlegung sensibler Daten, unsicheres Plugin-Design, übermäßige Agency, Overreliance und Modelldiebstahl. Jeder Eintrag enthält Angriffsszenarien, Auswirkungen und empfohlene Kontrollen für Entwickler, Architekten und Security-Teams. Das Projekt knüpft strukturell an die etablierte OWASP-Web-Top-10 an und wird von NIST, ENISA, MITRE ATLAS und den Leitlinien des EU AI Act als Basis für sicheres LLM-Deployment referenziert.
● Beispiele
- 01
LLM01 (Prompt Injection) und LLM02 (unsichere Ausgabeverarbeitung) als verpflichtende Threat-Model-Checkpoints für eine RAG-Anwendung.
- 02
Mapping eines Lieferanten-Sicherheitsfragebogens auf die OWASP LLM Top 10 vor Freigabe einer unternehmensweiten GenAI-Einführung.
● Häufige Fragen
Was ist OWASP LLM Top 10?
Von OWASP gepflegte Liste der zehn kritischsten Sicherheitsrisiken für Anwendungen, die auf großen Sprachmodellen aufbauen. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.
Was bedeutet OWASP LLM Top 10?
Von OWASP gepflegte Liste der zehn kritischsten Sicherheitsrisiken für Anwendungen, die auf großen Sprachmodellen aufbauen.
Wie funktioniert OWASP LLM Top 10?
Erstmals 2023 veröffentlicht und als OWASP Top 10 for LLM Applications fortlaufend aktualisiert, katalogisiert die Liste Risiken wie Prompt Injection (LLM01), unsichere Ausgabeverarbeitung, Training-Data-Poisoning, Modell-DoS, Supply-Chain-Schwachstellen, Offenlegung sensibler Daten, unsicheres Plugin-Design, übermäßige Agency, Overreliance und Modelldiebstahl. Jeder Eintrag enthält Angriffsszenarien, Auswirkungen und empfohlene Kontrollen für Entwickler, Architekten und Security-Teams. Das Projekt knüpft strukturell an die etablierte OWASP-Web-Top-10 an und wird von NIST, ENISA, MITRE ATLAS und den Leitlinien des EU AI Act als Basis für sicheres LLM-Deployment referenziert.
Wie schützt man sich gegen OWASP LLM Top 10?
Schutzmaßnahmen gegen OWASP LLM Top 10 kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.
Welche anderen Bezeichnungen gibt es für OWASP LLM Top 10?
Übliche alternative Bezeichnungen: OWASP Top 10 für LLM-Anwendungen, OWASP LLM01-LLM10.
● Verwandte Begriffe
- ai-security№ 866
Prompt Injection
Angriff, der die ursprünglichen Anweisungen eines LLM überschreibt, indem adversarieller Text in den Prompt eingeschleust wird, sodass das Modell Schutzmaßnahmen ignoriert oder vom Angreifer gewünschte Aktionen ausführt.
- ai-security№ 528
Indirekte Prompt Injection
Variante der Prompt Injection, bei der bösartige Anweisungen in Drittinhalten (Webseiten, Dokumenten, E-Mails) versteckt sind, die ein LLM später über Retrieval, Browsing oder Tools aufnimmt.
- ai-security№ 898
RAG-Security
Disziplin zur Absicherung von Retrieval-Augmented-Generation-Pipelines, sodass die Dokumente, Vector Stores und Retrieval-Schritte, die ein LLM speisen, nicht vergiftet, missbraucht oder zur Datenexfiltration genutzt werden können.
- ai-security№ 034
AI-Supply-Chain-Risiko
Summe der Bedrohungen aus Drittanbieter-Datensätzen, Basismodellen, Bibliotheken, Plug-ins und Infrastruktur, die Organisationen zum Bau und Betrieb von KI-Systemen kombinieren.
- ai-security№ 618
LLM-Guardrails
Mechanismen, die einschränken, was eine LLM-basierte Anwendung empfangen oder ausgeben darf, und damit Safety-, Sicherheits- und Geschäftsregeln rund um das zugrunde liegende Modell durchsetzen.
- ai-security№ 691
MLSecOps
Disziplin, die Sicherheits- und Risikokontrollen über den gesamten ML-Lebenszyklus hinweg integriert — von der Datenerhebung über Training, Deployment und Monitoring bis zur Außerbetriebnahme.
● Siehe auch
- № 030KI-Jailbreak
- № 281Daten-Poisoning
- № 703Modell-Extraktion
- № 704Modell-Inversion
- № 018Adversariales Beispiel
- № 393Evasion-Angriff (ML)
- № 666Membership-Inference-Angriff
- № 032KI-Red-Team