Exemplo adversarial.

Entrada perturbada deliberadamente — muitas vezes de forma imperceptível para humanos — para que um modelo de ML produza uma predição errada ou escolhida pelo atacante. Pertence à categoria Segurança de IA e ML da cibersegurança.

Entrada perturbada deliberadamente — muitas vezes de forma imperceptível para humanos — para que um modelo de ML produza uma predição errada ou escolhida pelo atacante.

Os exemplos adversariais foram destacados por Szegedy et al. (2013) e pelo artigo FGSM de Goodfellow et al. (2014), que mostrou que pequenas perturbações ao nível do pixel levavam classificadores de imagem de ponta a errar com alta confiança. Costumam ser criados por otimização baseada em gradientes (FGSM, PGD, Carlini-Wagner) ou consultas black-box; transferem-se entre modelos, permitindo ataques sem acesso interno. Existem também para texto, áudio, código e detetores de malware, sustentando a maioria dos ataques de evasão em produção. As defesas incluem treino adversarial, robustez certificada (randomized smoothing), pré-processamento de entradas, ensembles e deteção de anomalias em runtime — nenhuma garante robustez plena em altas dimensões.

As defesas contra Exemplo adversarial costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.

Nomes alternativos comuns: Entrada adversarial, Perturbação adversarial.