Адаптивная атака.

Атака на систему машинного обучения, специально спроектированная для обхода или взлома конкретной известной защиты, а не использующая универсальную технику. Относится к категории Безопасность ИИ и ML в кибербезопасности.

Атака на систему машинного обучения, специально спроектированная для обхода или взлома конкретной известной защиты, а не использующая универсальную технику.

Адаптивная атака строится с полным знанием атакуемой защиты и её допущений, а функция потерь или ограничения подгоняются под её обход. Термин популяризировали Карлини и Вагнер: их работы неоднократно показывали, что защиты, заявленные как устойчивые к универсальным состязательным примерам, рушатся, как только противник проектирует целевую функцию против них самих. Сегодня адаптивные атаки — стандарт оценки: любая новая защита для состязательных примеров, водяных знаков или детектирования должна проверяться против противников, знающих защиту и способных адаптировать методологию. Игнорирование этого шага регулярно приводит к завышенным заявлениям об устойчивости, которые опровергаются простыми, но грамотно построенными атаками.

Защита от Адаптивная атака обычно сочетает технические меры и операционные практики, как описано в определении выше.

Распространённые альтернативные названия: Атака с учётом защиты, Адаптивная оценка в режиме белого ящика.