Атака уклонения (ML).

Атака времени вывода, при которой злоумышленник конструирует входы, обходящие задуманное решение развернутой ML-модели — например, классификатора вредоносного ПО или фильтра контента. Относится к категории Безопасность ИИ и ML в кибербезопасности.

Атака времени вывода, при которой злоумышленник конструирует входы, обходящие задуманное решение развернутой ML-модели — например, классификатора вредоносного ПО или фильтра контента.

Атаки уклонения происходят уже после обучения и развёртывания: злоумышленник не трогает пайплайн обучения, а манипулирует запросами, чтобы избежать детектирования. Чаще всего применяются adversarial-примеры, но семейство включает и более простые приёмы — полиморфный вредоносный код, обфускацию символов против модерации текста, клонирование голоса против голосовой биометрии, трансформации против перцептивного хеширования. Отчёт NIST AI 100-2 относит уклонение к четырём главным классам угроз ML наряду с отравлением, приватностью и злоупотреблением. Защита включает adversarial-обучение, устойчивое feature-engineering, мультимодальную или ансамблевую детекцию, runtime-санитизацию входов, телеметрию по дрейфу уверенности и строгий доступ к API моделей.

Защита от Атака уклонения (ML) обычно сочетает технические меры и операционные практики, как описано в определении выше.

Распространённые альтернативные названия: Атака на этапе вывода, Уклонение модели.