Adversariales Beispiel.

Eine gezielt — oft für Menschen unmerklich — gestörte Eingabe, die ein ML-Modell zu einer falschen oder vom Angreifer gewählten Vorhersage zwingt. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.

Eine gezielt — oft für Menschen unmerklich — gestörte Eingabe, die ein ML-Modell zu einer falschen oder vom Angreifer gewählten Vorhersage zwingt.

Adversariale Beispiele wurden von Szegedy et al. (2013) und Goodfellows FGSM-Papier (2014) bekannt: winzige Pixelstörungen brachten Top-Klassifikatoren dazu, mit hoher Konfidenz falsch zu klassifizieren. Sie werden meist per gradientenbasierter Optimierung (FGSM, PGD, Carlini-Wagner) oder per Black-Box-Queries erzeugt; sie übertragen sich zwischen Modellen, sodass Angriffe ohne internen Zugriff möglich sind. Über Bilder hinaus existieren sie für Text, Audio, Code und Malware-Detektoren und bilden die Grundlage der meisten Evasion-Angriffe im Betrieb. Schutz bieten adversariales Training, zertifizierte Robustheit (Randomized Smoothing), Eingabe-Preprocessing, Ensembles und Laufzeit-Anomalie-Erkennung — eine vollständige Robustheit in hohen Dimensionen ist bislang nicht erreichbar.

Schutzmaßnahmen gegen Adversariales Beispiel kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.

Übliche alternative Bezeichnungen: Adversariale Eingabe, Adversariale Störung.