Атака на вывод членства
Что такое Атака на вывод членства?
Атака на вывод членстваАтака на приватность, определяющая, входила ли конкретная запись в обучающую выборку модели, через анализ её поведения на этой записи.
Атака на вывод членства формализована Shokri и соавторами (2017) и эксплуатирует склонность ML-моделей быть увереннее на примерах, виденных при обучении. Злоумышленник запрашивает целевую модель с кандидатом и сравнивает уверенность, лосс или поклассовые оценки со shadow-моделями, обученными на похожих данных. Часто хватает только API-доступа. Атака — кирпич для более широких приватных угроз: подтверждение того, что медицинская запись, фото или документ использовались в обучении, может нарушать GDPR, HIPAA или EU AI Act. Защита включает дифференциальную приватность, регуляризацию (dropout), минимизацию выводов и тщательную дедупликацию обучающего набора.
● Примеры
- 01
Через сравнение значений лосса установить, что медицинская карта конкретного пациента использовалась при обучении больничной диагностической модели.
- 02
Через тесты членства выявить, входила ли защищённая авторским правом книга в корпус предобучения LLM.
● Частые вопросы
Что такое Атака на вывод членства?
Атака на приватность, определяющая, входила ли конкретная запись в обучающую выборку модели, через анализ её поведения на этой записи. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Атака на вывод членства?
Атака на приватность, определяющая, входила ли конкретная запись в обучающую выборку модели, через анализ её поведения на этой записи.
Как работает Атака на вывод членства?
Атака на вывод членства формализована Shokri и соавторами (2017) и эксплуатирует склонность ML-моделей быть увереннее на примерах, виденных при обучении. Злоумышленник запрашивает целевую модель с кандидатом и сравнивает уверенность, лосс или поклассовые оценки со shadow-моделями, обученными на похожих данных. Часто хватает только API-доступа. Атака — кирпич для более широких приватных угроз: подтверждение того, что медицинская запись, фото или документ использовались в обучении, может нарушать GDPR, HIPAA или EU AI Act. Защита включает дифференциальную приватность, регуляризацию (dropout), минимизацию выводов и тщательную дедупликацию обучающего набора.
Как защититься от Атака на вывод членства?
Защита от Атака на вывод членства обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Атака на вывод членства?
Распространённые альтернативные названия: MIA, Атака членства в обучающей выборке.
● Связанные термины
- ai-security№ 704
Инверсия модели
Атака на приватность, восстанавливающая чувствительные признаки обучающих данных модели — лица, текст — через её выходы или градиенты.
- ai-security№ 703
Извлечение модели
Атака, восстанавливающая параметры, поведение или обучающие данные конфиденциальной ML-модели путём систематических запросов к её публичному API.
- ai-security№ 281
Отравление данных
Атака на систему машинного обучения, при которой злоумышленники внедряют, изменяют или меняют разметку обучающих данных, чтобы итоговая модель работала неверно или содержала скрытые бэкдоры.
- ai-security№ 027
Управление ИИ (AI Governance)
Совокупность политик, процессов, ролей и средств контроля, с помощью которых организации и регуляторы обеспечивают ответственную и законную разработку, развёртывание и эксплуатацию ИИ-систем.
- ai-security№ 777
OWASP LLM Top 10
Список OWASP с десятью наиболее критическими рисками безопасности для приложений, построенных на больших языковых моделях.
- ai-security№ 691
MLSecOps
Дисциплина интеграции средств безопасности и управления рисками во весь жизненный цикл машинного обучения — от сбора данных до обучения, развёртывания, мониторинга и вывода из эксплуатации.
● См. также
- № 376Атаки на эмбеддинги