Атаки на эмбеддинги
Что такое Атаки на эмбеддинги?
Атаки на эмбеддингиКласс атак на векторы эмбеддингов AI, направленных на восстановление, изменение или эксплуатацию исходного ввода и его семантики: инверсия эмбеддингов и similarity-poisoning.
Эмбеддинги — это плотные векторные представления текста, изображений и других данных, используемые современными AI-системами для поиска, рекомендаций и RAG. Хотя ранее эмбеддинги считались непрозрачными, исследования показали, что они утечкают значительную информацию об исходном тексте. Атаки инверсии (например, семейство Vec2Text) восстанавливают исходное предложение по вектору с впечатляющей точностью, разрушая предположения о приватности логов чат-ботов, медицинских записей и собственных документов в векторных хранилищах. К прочим атакам относятся similarity poisoning, когда злоумышленник подбирает входы, перехватывающие ближайших соседей в корпусе RAG, и membership inference против эмбеддинг-эндпоинтов. Защита: шифрование векторов at rest, контроль доступа к запросам похожести, лимиты по частоте, понижение размерности и трактовка эмбеддингов как персональных данных в рамках законодательства о приватности.
● Примеры
- 01
Исследователи восстанавливают свыше 90% содержания предложений из эмбеддингов OpenAI с помощью Vec2Text.
- 02
Отравленный документ помещается рядом с типовыми HR-запросами и перехватывает ответы RAG.
● Частые вопросы
Что такое Атаки на эмбеддинги?
Класс атак на векторы эмбеддингов AI, направленных на восстановление, изменение или эксплуатацию исходного ввода и его семантики: инверсия эмбеддингов и similarity-poisoning. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Атаки на эмбеддинги?
Класс атак на векторы эмбеддингов AI, направленных на восстановление, изменение или эксплуатацию исходного ввода и его семантики: инверсия эмбеддингов и similarity-poisoning.
Как защититься от Атаки на эмбеддинги?
Защита от Атаки на эмбеддинги обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Атаки на эмбеддинги?
Распространённые альтернативные названия: Инверсия эмбеддингов, Атака Vec2Text.