LLM ガードレール.

LLM ベースのアプリケーションが受け付けたり出力したりできる内容を制約し、基盤モデルの周囲で safety・セキュリティ・業務ルールを適用する仕組み。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

LLM ベースのアプリケーションが受け付けたり出力したりできる内容を制約し、基盤モデルの周囲で safety・セキュリティ・業務ルールを適用する仕組み。

ガードレールは LLM アプリケーションの方針レイヤーです。プロンプトインジェクションやジェイルブレイクを検知する分類器/ルールベースフィルタ、トピック・ペルソナ・トーンの制御、出力スキーマ検証、PII/シークレット除去、拒否応答の処理、引用必須化、ツール呼び出しの制約などを含みます。実装は OSS フレームワーク(NVIDIA NeMo Guardrails、Guardrails AI、Microsoft Presidio など)、ベンダー API(OpenAI Moderation、Anthropic の safety エンドポイントなど)、エージェントフレームワーク内のカスタムロジックまで幅広く存在します。モデル内アライメント、LLM ファイアウォール、MLSecOps と補完的に働きます。攻撃者はガードレールとモデル挙動の隙間を突いてくるため、テスト可能・バージョン管理可能で、レッドチームによる継続検証を必須にすべきです。

LLM ガードレール に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: AI ガードレール, 生成 AI ガードレール。