AI セーフティ.

AI システムが利用者・運用者・社会に意図せざる害を及ぼさないようにするための学際分野で、技術・運用・社会の各側面を扱う。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

AI システムが利用者・運用者・社会に意図せざる害を及ぼさないようにするための学際分野で、技術・運用・社会の各側面を扱う。

AI セーフティは伝統的なセキュリティより広く、攻撃者がいない場面でも事故・バイアス・欺瞞・暴走する自律的挙動・デュアルユース濫用、さらには破滅的・実存的リスクまで対象とします。技術面ではアライメント、解釈可能性、評価、ロバスト学習、監視、能力引き出し(capability elicitation)を扱い、運用面ではレスポンシブル・スケーリングポリシー、モデルカード、デプロイ時ガードレール、アクセス制御を扱います。英米の AI Safety Institute、EU AI Office、NIST(AI RMF)、フロンティア研究機関などが標準を発信しています。AI セキュリティとは別領域ですが重なりが大きく、安全でない(unsafe)モデルはセキュリティ上もしばしば危険になります。

AI セーフティ に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: フロンティア AI セーフティ, 責任ある AI。