Nightshade-Angriff
Was ist Nightshade-Angriff?
Nightshade-AngriffDaten-Poisoning-Technik des Glaze-Teams der University of Chicago, die unmerkliche Störungen in Bilder einbringt, sodass Text-zu-Bild-Modelle, die damit trainiert werden, stark verzerrte Konzepte lernen.
Nightshade wurde 2023-2024 von Shan et al. veröffentlicht und gibt Künstler:innen ein Werkzeug, gegen das unautorisierte Scraping ihrer Werke für GenAI-Training vorzugehen. Die manipulierten Bilder sehen für Menschen unverändert aus, lassen das Modell beim Training jedoch Konzepte falsch verknüpfen: Ein als "Hund" beschriftetes vergiftetes Bild kann das Modell dazu bringen, Katzen zu rendern, oder Stile in unbrauchbare Formen verzerren. Wenige tausend Nightshade-Bilder genügen, um Qualität zu untergraben. Auch wenn als Defensivwerkzeug konzipiert, ist Nightshade technisch ein Supply-Chain-Angriff auf gescrapte Korpora. Es hat Forschung zu copyright-bewusster Datenakquise, Datensatzhygiene, Opt-out-Registries und Provenance-Tools bei OpenAI, Stability, Adobe und anderen beflügelt.
● Beispiele
- 01
Eine Illustratorin veröffentlicht Portfoliobilder, die mit Nightshade gestört wurden, um deren Aufnahme in Trainingskorpora zu verhindern.
- 02
Ein Diffusionsmodell, dessen Qualität nach wenigen tausend Nightshade-vergifteten Bildern gängiger Konzepte spürbar abfällt.
● Häufige Fragen
Was ist Nightshade-Angriff?
Daten-Poisoning-Technik des Glaze-Teams der University of Chicago, die unmerkliche Störungen in Bilder einbringt, sodass Text-zu-Bild-Modelle, die damit trainiert werden, stark verzerrte Konzepte lernen. Es gehört zur Kategorie KI- und ML-Sicherheit der Cybersicherheit.
Was bedeutet Nightshade-Angriff?
Daten-Poisoning-Technik des Glaze-Teams der University of Chicago, die unmerkliche Störungen in Bilder einbringt, sodass Text-zu-Bild-Modelle, die damit trainiert werden, stark verzerrte Konzepte lernen.
Wie funktioniert Nightshade-Angriff?
Nightshade wurde 2023-2024 von Shan et al. veröffentlicht und gibt Künstler:innen ein Werkzeug, gegen das unautorisierte Scraping ihrer Werke für GenAI-Training vorzugehen. Die manipulierten Bilder sehen für Menschen unverändert aus, lassen das Modell beim Training jedoch Konzepte falsch verknüpfen: Ein als "Hund" beschriftetes vergiftetes Bild kann das Modell dazu bringen, Katzen zu rendern, oder Stile in unbrauchbare Formen verzerren. Wenige tausend Nightshade-Bilder genügen, um Qualität zu untergraben. Auch wenn als Defensivwerkzeug konzipiert, ist Nightshade technisch ein Supply-Chain-Angriff auf gescrapte Korpora. Es hat Forschung zu copyright-bewusster Datenakquise, Datensatzhygiene, Opt-out-Registries und Provenance-Tools bei OpenAI, Stability, Adobe und anderen beflügelt.
Wie schützt man sich gegen Nightshade-Angriff?
Schutzmaßnahmen gegen Nightshade-Angriff kombinieren typischerweise technische Kontrollen und operative Praktiken, wie in der Definition oben beschrieben.
Welche anderen Bezeichnungen gibt es für Nightshade-Angriff?
Übliche alternative Bezeichnungen: Nightshade-Poisoning, Offensive Glaze-Variante.
● Verwandte Begriffe
- ai-security№ 281
Daten-Poisoning
Angriff auf ein ML-System, bei dem Angreifer Trainingsdaten einschleusen, verändern oder umlabeln, sodass das resultierende Modell fehlerhaft arbeitet oder versteckte Backdoors enthält.
- ai-security№ 034
AI-Supply-Chain-Risiko
Summe der Bedrohungen aus Drittanbieter-Datensätzen, Basismodellen, Bibliotheken, Plug-ins und Infrastruktur, die Organisationen zum Bau und Betrieb von KI-Systemen kombinieren.
- ai-security№ 035
KI-Watermarking
Techniken, die ein erkennbares Signal in KI-generierte Inhalte einbetten, sodass deren Provenance, Ursprungsmodell oder Zugehörigkeit zu einem Trainingsdatensatz später verifiziert werden kann.
- ai-security№ 027
KI-Governance
Richtlinien, Prozesse, Rollen und Kontrollen, mit denen Organisationen und Regulierer sicherstellen, dass KI-Systeme verantwortungsvoll und rechtmäßig entwickelt, bereitgestellt und betrieben werden.
- ai-security№ 1123
Synthetische Medien
Jegliche Audio-, Bild-, Video- oder Textinhalte, die nicht aus der physischen Welt aufgenommen, sondern von generativer KI erzeugt oder wesentlich verändert wurden.
- ai-security№ 026
Erkennung KI-generierter Inhalte
Werkzeuge und Techniken, die abschätzen, ob ein Text, Bild, Audio oder Video von einem KI-Modell statt von einem Menschen erzeugt wurde.