Состязательный пример
Что такое Состязательный пример?
Состязательный примерНамеренно искажённый — часто незаметно для человека — вход, заставляющий ML-модель выдавать неверное или нужное атакующему предсказание.
Состязательные примеры стали известны благодаря работам Szegedy и соавторов (2013) и статье Goodfellow и соавторов про FGSM (2014), показавшей, что крошечные попиксельные возмущения заставляют топовые классификаторы изображений ошибаться с высокой уверенностью. Их обычно строят градиентной оптимизацией (FGSM, PGD, Carlini-Wagner) или черно-ящичными запросами; они переносятся между моделями, что позволяет атаковать без внутреннего доступа. Помимо изображений они известны для текста, аудио, кода и детекторов вредоносного ПО и лежат в основе большинства evasion-атак на продакшене. Защита включает adversarial-обучение, сертифицированную робастность (randomized smoothing), предобработку входов, ансамблирование и runtime-выявление аномалий, но полной устойчивости в высокой размерности пока не достичь.
● Примеры
- 01
Дорожный знак "STOP" с тщательно подобранными наклейками, который классификатор автопилота читает как знак ограничения скорости.
- 02
Аудиофрагмент, неотличимый от фонового шума, который ASR голосового ассистента распознаёт как вредоносную команду.
● Частые вопросы
Что такое Состязательный пример?
Намеренно искажённый — часто незаметно для человека — вход, заставляющий ML-модель выдавать неверное или нужное атакующему предсказание. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Состязательный пример?
Намеренно искажённый — часто незаметно для человека — вход, заставляющий ML-модель выдавать неверное или нужное атакующему предсказание.
Как защититься от Состязательный пример?
Защита от Состязательный пример обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Состязательный пример?
Распространённые альтернативные названия: Состязательный вход, Состязательное возмущение.