Exemple adversarial.

Entrée volontairement perturbée — souvent imperceptiblement pour l'humain — afin qu'un modèle de machine learning produise une prédiction erronée ou choisie par l'attaquant. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.

Entrée volontairement perturbée — souvent imperceptiblement pour l'humain — afin qu'un modèle de machine learning produise une prédiction erronée ou choisie par l'attaquant.

Les exemples adversariaux ont été mis en évidence par Szegedy et al. (2013) puis par l'article FGSM de Goodfellow et al. (2014), qui montrait que de minuscules perturbations au niveau du pixel suffisaient à tromper des classificateurs d'images de pointe avec une grande confiance. Ils sont généralement fabriqués par optimisation gradientielle (FGSM, PGD, Carlini-Wagner) ou par requêtes en boîte noire ; ils se transfèrent entre modèles, ce qui permet des attaques sans accès interne. On en trouve aussi pour le texte, l'audio, le code et les détecteurs de malware. Ils sous-tendent la plupart des attaques d'évasion en production. Les parades comprennent l'entraînement adversarial, la robustesse certifiée (randomized smoothing), le prétraitement des entrées, les ensembles et la détection d'anomalies — aucune ne garantissant une robustesse totale en haute dimension.

Les défenses contre Exemple adversarial combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.

Noms alternatifs courants : Entrée adversariale, Perturbation adversariale.