Nightshade-Angriff
Was ist Nightshade-Angriff?
Nightshade-AngriffDaten-Poisoning-Technik des Glaze-Teams der University of Chicago, die unmerkliche Störungen in Bilder einbringt, sodass Text-zu-Bild-Modelle, die damit trainiert werden, stark verzerrte Konzepte lernen.
Nightshade wurde 2023-2024 von Shan et al. veröffentlicht und gibt Künstler:innen ein Werkzeug, gegen das unautorisierte Scraping ihrer Werke für GenAI-Training vorzugehen. Die manipulierten Bilder sehen für Menschen unverändert aus, lassen das Modell beim Training jedoch Konzepte falsch verknüpfen: Ein als "Hund" beschriftetes vergiftetes Bild kann das Modell dazu bringen, Katzen zu rendern, oder Stile in unbrauchbare Formen verzerren. Wenige tausend Nightshade-Bilder genügen, um Qualität zu untergraben. Auch wenn als Defensivwerkzeug konzipiert, ist Nightshade technisch ein Supply-Chain-Angriff auf gescrapte Korpora. Es hat Forschung zu copyright-bewusster Datenakquise, Datensatzhygiene, Opt-out-Registries und Provenance-Tools bei OpenAI, Stability, Adobe und anderen beflügelt.
● Beispiele
- 01
Eine Illustratorin veröffentlicht Portfoliobilder, die mit Nightshade gestört wurden, um deren Aufnahme in Trainingskorpora zu verhindern.
- 02
Ein Diffusionsmodell, dessen Qualität nach wenigen tausend Nightshade-vergifteten Bildern gängiger Konzepte spürbar abfällt.
● Häufige Fragen
Was ist Nightshade-Angriff?
Daten-Poisoning-Technik des Glaze-Teams der University of Chicago, die unmerkliche Störungen in Bilder einbringt, sodass Text-zu-Bild-Modelle, die damit trainiert werden, stark verzerrte Konzepte lernen. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.
Was bedeutet Nightshade-Angriff?
Daten-Poisoning-Technik des Glaze-Teams der University of Chicago, die unmerkliche Störungen in Bilder einbringt, sodass Text-zu-Bild-Modelle, die damit trainiert werden, stark verzerrte Konzepte lernen.
Wie schützt man sich gegen Nightshade-Angriff?
Schutzmaßnahmen gegen Nightshade-Angriff kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.
Welche anderen Bezeichnungen gibt es für Nightshade-Angriff?
Übliche alternative Bezeichnungen: Nightshade-Poisoning, Offensive Glaze-Variante.