Exemplo adversarial
O que é Exemplo adversarial?
Exemplo adversarialEntrada perturbada deliberadamente — muitas vezes de forma imperceptível para humanos — para que um modelo de ML produza uma predição errada ou escolhida pelo atacante.
Os exemplos adversariais foram destacados por Szegedy et al. (2013) e pelo artigo FGSM de Goodfellow et al. (2014), que mostrou que pequenas perturbações ao nível do pixel levavam classificadores de imagem de ponta a errar com alta confiança. Costumam ser criados por otimização baseada em gradientes (FGSM, PGD, Carlini-Wagner) ou consultas black-box; transferem-se entre modelos, permitindo ataques sem acesso interno. Existem também para texto, áudio, código e detetores de malware, sustentando a maioria dos ataques de evasão em produção. As defesas incluem treino adversarial, robustez certificada (randomized smoothing), pré-processamento de entradas, ensembles e deteção de anomalias em runtime — nenhuma garante robustez plena em altas dimensões.
● Exemplos
- 01
Um sinal de stop coberto com autocolantes cuidadosamente concebidos, lido como sinal de limite de velocidade por um classificador de condução autónoma.
- 02
Um excerto de áudio indistinguível de ruído de fundo que o ASR de um assistente de voz transcreve como um comando malicioso.
● Perguntas frequentes
O que é Exemplo adversarial?
Entrada perturbada deliberadamente — muitas vezes de forma imperceptível para humanos — para que um modelo de ML produza uma predição errada ou escolhida pelo atacante. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Exemplo adversarial?
Entrada perturbada deliberadamente — muitas vezes de forma imperceptível para humanos — para que um modelo de ML produza uma predição errada ou escolhida pelo atacante.
Como se defender contra Exemplo adversarial?
As defesas contra Exemplo adversarial costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Exemplo adversarial?
Nomes alternativos comuns: Entrada adversarial, Perturbação adversarial.