Attaque Adaptative.

Une attaque adaptative est construite en pleine connaissance de la defense visee et de ses hypotheses, et sa fonction de perte ou ses contraintes sont taillees sur mesure pour contourner cette defense. Le terme a ete popularise par Carlini et Wagner, dont l'etude de 2017 Adversarial Examples Are Not Easily Detected a brise dix methodes de detection proposees des lors que l'attaque etait reorientee contre la regle propre a chaque detecteur.

Deux evaluations de reference ont impose les attaques adaptatives comme incontournables. L'article d'Athalye, Carlini et Wagner a ICML 2018, Obfuscated Gradients Give a False Sense of Security, a constate que 7 des 9 defenses acceptees a ICLR 2018 reposaient sur le masquage de gradient (gradient masking) : elles rendaient simplement les gradients non informatifs plutot que le modele veritablement robuste, et il en a dejoue 6 completement au moyen de techniques telles que BPDA (Backward Pass Differentiable Approximation, pour franchir un pretraitement non differentiable) et EOT (Expectation over Transformation, pour venir a bout des defenses randomisees). En 2020, l'article de Tramèr, Carlini, Brendel et Madry On Adaptive Attacks to Adversarial Example Defenses (NeurIPS) a brise 13 defenses issues d'ICLR, ICML et NeurIPS, montrant que meme les auteurs qui tentaient des evaluations adaptatives construisaient souvent des attaques faibles et non adaptees.

La lecon : toute defense contre les exemples adverses, le tatouage ou la detection de contenu genere par IA doit etre evaluee face a un adversaire conscient de la defense qui adapte son objectif, idealement en publiant le code de l'attaque. Negliger cette etape produit couramment des affirmations de robustesse exagerees qui tombent face a des attaques simples et bien fondees.

flowchart TD
  A[Defense ML proposee<br/>revendique la robustesse] --> B[Attaque generique<br/>p. ex. PGD standard]
  B -->|L'attaque echoue| C[Robustesse apparente]
  C --> D{Evaluation adaptative?}
  D -->|Ignoree| E[Affirmation exageree<br/>publiee]
  D -->|Appliquee| F[L'attaquant etudie les rouages<br/>et hypotheses de la defense]
  F --> G[Adapter la perte + BPDA / EOT<br/>a la defense]
  G --> H{La defense resiste?}
  H -->|Non| I[Robustesse refutee]
  H -->|Oui| J[Preuve d'une robustesse<br/>authentique]