LLM-Guardrails.

Mechanismen, die einschränken, was eine LLM-basierte Anwendung empfangen oder ausgeben darf, und damit Safety-, Sicherheits- und Geschäftsregeln rund um das zugrunde liegende Modell durchsetzen. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.

Mechanismen, die einschränken, was eine LLM-basierte Anwendung empfangen oder ausgeben darf, und damit Safety-, Sicherheits- und Geschäftsregeln rund um das zugrunde liegende Modell durchsetzen.

Guardrails sind die Policy-Schicht von LLM-Anwendungen. Dazu gehören Klassifikatoren und regelbasierte Filter für Prompt Injection oder Jailbreaks, Themen-, Persona- und Tonkontrollen, Output-Schema-Validierung, PII- und Secrets-Bereinigung, Refusal-Handling, Zitationspflichten und Einschränkungen für Tool-Aufrufe. Implementierungen reichen von Open-Source-Frameworks wie NVIDIA NeMo Guardrails, Guardrails AI und Microsofts Presidio über Anbieter-APIs wie OpenAI Moderation oder die Safety-Endpunkte von Anthropic bis zu maßgeschneiderter Logik in Agenten-Frameworks. Guardrails ergänzen modellinternes Alignment, LLM-Firewalls und MLSecOps-Praktiken. Sie sollten testbar und versioniert sein und kontinuierlich durch Red Teaming validiert werden, weil Angreifer gezielt den Spalt zwischen Guardrail und Modellverhalten suchen.

Schutzmaßnahmen gegen LLM-Guardrails kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.

Übliche alternative Bezeichnungen: KI-Guardrails, GenAI-Guardrails.