Excessive Agency (übermäßige Handlungsmacht)
Was ist Excessive Agency (übermäßige Handlungsmacht)?
Excessive Agency (übermäßige Handlungsmacht)OWASP LLM06: einem LLM-gestützten System mehr Funktionen, Rechte oder Autonomie zu geben, als es tatsächlich braucht — wodurch eine Prompt-Injection oder ein Modellfehler zu unverhältnismäßigem realen Schaden führt.
Excessive Agency ist Punkt LLM06 der OWASP Top 10 für Large Language Model Applications. Beschrieben wird die Klasse von Schäden, die entsteht, wenn einem LLM-System mehr Werkzeuge, breitere Rechte oder höhere Autonomie verliehen werden, als der Anwendungsfall verlangt — etwa ein Support-Agent mit Schreibrechten auf der produktiven Billing-API oder ein Coding-Assistent, der Repositories lesen und gleichzeitig ungeprüft auf main pushen darf. Die Schwachstelle liegt nicht im Modell, sondern im umgebenden System: wird der Agent später unterwandert (durch Prompt-Injection, Halluzination oder schlicht einen Fehlgriff), bestimmt allein der Umfang der ihm gewährten Befugnisse den Wirkungsradius. Gegenmaßnahmen folgen dem Least-Privilege-Prinzip: jeden Tool-Aufruf auf das nötige Minimum an Daten und Aktionen begrenzen, irreversible Operationen menschlich freigeben lassen, wo möglich nur lesende oder Staging-Werkzeuge nutzen, Planungs- und Ausführungsmodelle trennen und Tool-Aufrufe instrumentieren, damit anomale Sequenzen in der Detection auffallen.
● Beispiele
- 01
Ein LLM-basiertes Ticket-Triage-Tool besitzt vollständige Admin-Rechte im CRM und ändert nach einer Prompt-Injection in einer Support-E-Mail massenhaft Kundendatensätze.
- 02
Ein Coding-Agent darf nur Pull Requests öffnen statt direkt auf main zu pushen, sodass eine schlechte Empfehlung weiterhin reviewbar bleibt und nicht in Produktion landet.
● Häufige Fragen
Was ist Excessive Agency (übermäßige Handlungsmacht)?
OWASP LLM06: einem LLM-gestützten System mehr Funktionen, Rechte oder Autonomie zu geben, als es tatsächlich braucht — wodurch eine Prompt-Injection oder ein Modellfehler zu unverhältnismäßigem realen Schaden führt. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.
Was bedeutet Excessive Agency (übermäßige Handlungsmacht)?
OWASP LLM06: einem LLM-gestützten System mehr Funktionen, Rechte oder Autonomie zu geben, als es tatsächlich braucht — wodurch eine Prompt-Injection oder ein Modellfehler zu unverhältnismäßigem realen Schaden führt.
Wie funktioniert Excessive Agency (übermäßige Handlungsmacht)?
Excessive Agency ist Punkt LLM06 der OWASP Top 10 für Large Language Model Applications. Beschrieben wird die Klasse von Schäden, die entsteht, wenn einem LLM-System mehr Werkzeuge, breitere Rechte oder höhere Autonomie verliehen werden, als der Anwendungsfall verlangt — etwa ein Support-Agent mit Schreibrechten auf der produktiven Billing-API oder ein Coding-Assistent, der Repositories lesen und gleichzeitig ungeprüft auf main pushen darf. Die Schwachstelle liegt nicht im Modell, sondern im umgebenden System: wird der Agent später unterwandert (durch Prompt-Injection, Halluzination oder schlicht einen Fehlgriff), bestimmt allein der Umfang der ihm gewährten Befugnisse den Wirkungsradius. Gegenmaßnahmen folgen dem Least-Privilege-Prinzip: jeden Tool-Aufruf auf das nötige Minimum an Daten und Aktionen begrenzen, irreversible Operationen menschlich freigeben lassen, wo möglich nur lesende oder Staging-Werkzeuge nutzen, Planungs- und Ausführungsmodelle trennen und Tool-Aufrufe instrumentieren, damit anomale Sequenzen in der Detection auffallen.
Wie schützt man sich gegen Excessive Agency (übermäßige Handlungsmacht)?
Schutzmaßnahmen gegen Excessive Agency (übermäßige Handlungsmacht) kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.
Welche anderen Bezeichnungen gibt es für Excessive Agency (übermäßige Handlungsmacht)?
Übliche alternative Bezeichnungen: LLM06, Überprivilegierter KI-Agent.
● Verwandte Begriffe
- ai-security№ 870
OWASP LLM Top 10
Von OWASP gepflegte Liste der zehn kritischsten Sicherheitsrisiken für Anwendungen, die auf großen Sprachmodellen aufbauen.
- ai-security№ 027
Sicherheit agentenbasierter KI
Disziplin zur Absicherung autonomer LLM-Agenten, die planen, Werkzeuge aufrufen und in realen Systemen handeln — wo Prompt-Injection zu Remote Code Execution und exzessive Handlungsmacht zu echtem Schaden wird.
- identity-access№ 955
Prinzip der geringsten Rechte
Sicherheitsprinzip, das jedem Nutzer, Prozess oder Dienst nur jene Rechte gewährt, die er zwingend für seine Aufgabe benötigt — nicht mehr.
- ai-security№ 689
LLM-Guardrails
Mechanismen, die einschränken, was eine LLM-basierte Anwendung empfangen oder ausgeben darf, und damit Safety-, Sicherheits- und Geschäftsregeln rund um das zugrunde liegende Modell durchsetzen.
- ai-security№ 969
Prompt Injection
Angriff, der die ursprünglichen Anweisungen eines LLM überschreibt, indem adversarieller Text in den Prompt eingeschleust wird, sodass das Modell Schutzmaßnahmen ignoriert oder vom Angreifer gewünschte Aktionen ausführt.
- ai-security№ 1285
Tool-Use Injection
Attacks that manipulate an LLM agent's tool-calling layer — forging tool arguments, smuggling instructions through tool outputs, or coaxing the model into calling unsanctioned tools.