Ataque Adaptativo.

Um ataque adaptativo e construido com pleno conhecimento da defesa alvo e de seus pressupostos, e sua funcao de perda ou suas restricoes sao ajustadas sob medida para contornar essa defesa. O termo foi popularizado por Carlini e Wagner, cujo estudo de 2017 Adversarial Examples Are Not Easily Detected quebrou dez metodos de deteccao propostos assim que o ataque foi reorientado contra a regra especifica de cada detector.

Duas avaliacoes marcantes consolidaram os ataques adaptativos como obrigatorios. O artigo de Athalye, Carlini e Wagner na ICML 2018, Obfuscated Gradients Give a False Sense of Security, constatou que 7 de 9 defesas aceitas na ICLR 2018 se apoiavam em mascaramento de gradiente (gradient masking) — elas apenas tornavam os gradientes pouco informativos em vez de deixar o modelo de fato robusto — e contornou 6 delas por completo usando tecnicas como BPDA (Backward Pass Differentiable Approximation, para superar um pre-processamento nao diferenciavel) e EOT (Expectation over Transformation, para vencer defesas aleatorizadas). Em 2020, o trabalho de Tramèr, Carlini, Brendel e Madry On Adaptive Attacks to Adversarial Example Defenses (NeurIPS) quebrou 13 defesas da ICLR, ICML e NeurIPS, mostrando que ate mesmo autores que tentaram avaliacoes adaptativas frequentemente construiam ataques fracos e nao personalizados.

A licao: toda defesa contra exemplos adversariais, marca d'agua ou deteccao de conteudo de IA deve ser avaliada frente a um adversario ciente da defesa que adapta seu objetivo, idealmente publicando o codigo do ataque. Pular essa etapa costuma produzir alegacoes de robustez exageradas que sucumbem a ataques simples e bem fundamentados.

flowchart TD
  A[Defesa de ML proposta<br/>alega robustez] --> B[Ataque generico<br/>ex.: PGD padrao]
  B -->|O ataque falha| C[Robustez aparente]
  C --> D{Avaliacao adaptativa?}
  D -->|Ignorada| E[Alegacao exagerada<br/>publicada]
  D -->|Aplicada| F[O atacante estuda as entranhas<br/>e os pressupostos da defesa]
  F --> G[Ajustar perda + BPDA / EOT<br/>a defesa]
  G --> H{A defesa sobrevive?}
  H -->|Nao| I[Robustez refutada]
  H -->|Sim| J[Evidencia de robustez<br/>genuina]