エンベディング攻撃.

AI の埋め込みベクトルを対象に、元の入力やその意味を復元・改ざん・悪用する攻撃の総称。エンベディング反転や類似度ポイズニングなどを含む。 サイバーセキュリティの AI / ML セキュリティ カテゴリに属します。

AI の埋め込みベクトルを対象に、元の入力やその意味を復元・改ざん・悪用する攻撃の総称。エンベディング反転や類似度ポイズニングなどを含む。

エンベディング(embedding)は、検索、推薦、RAG など現代の AI システムで用いられるテキストや画像などの密ベクトル表現です。かつては不透明な表現と見なされていましたが、研究により元のテキストに関する多くの情報が漏れることが分かっています。Vec2Text のようなエンベディング反転攻撃では、ベクトルから元の文を高い忠実度で再構成できるため、チャットボットのログ、医療メモ、ベクトルデータベースに格納された機密文書のプライバシー前提が崩れます。他にも、RAG コーパスの近傍検索結果を乗っ取るために悪意ある入力を埋め込みベクトル空間に配置する類似度ポイズニングや、エンベディング API に対するメンバーシップ推論攻撃などがあります。対策としては、ベクトルの保管時暗号化、類似度クエリへのアクセス制御、レート制限、次元削減、プライバシー法規上でエンベディングを個人データとして扱うことなどが挙げられます。

エンベディング攻撃 に対する防御は通常、上記の定義で述べたとおり、技術的統制と運用上の実践を組み合わせます。

一般的な別名: エンベディング反転, Vec2Text 攻撃。