Attaque Nightshade.

Technique d'empoisonnement de données conçue par l'équipe Glaze de l'Université de Chicago, qui ajoute des perturbations imperceptibles aux images afin que les modèles text-to-image entraînés dessus apprennent des concepts profondément déformés. Cette notion relève de la catégorie Sécurité de l'IA et du ML en cybersécurité.

Technique d'empoisonnement de données conçue par l'équipe Glaze de l'Université de Chicago, qui ajoute des perturbations imperceptibles aux images afin que les modèles text-to-image entraînés dessus apprennent des concepts profondément déformés.

Publié en 2023-2024 par Shan et al., Nightshade permet aux artistes de riposter face au scraping non autorisé de leurs œuvres pour l'entraînement d'IA générative. Les images perturbées semblent identiques pour l'humain, mais intégrées à un dataset, elles poussent le modèle à mal associer les concepts : une image étiquetée "chien" empoisonnée peut amener le modèle à dessiner des chats, ou déformer des styles artistiques jusqu'à les rendre inutilisables. Quelques milliers d'images suffisent à dégrader la qualité. Présenté comme un outil défensif pour créateurs, Nightshade est techniquement une attaque de chaîne d'approvisionnement contre les corpus scrapés, et a stimulé la recherche sur les datasets respectueux du droit d'auteur, l'hygiène des données, les registres d'opt-out et la provenance chez OpenAI, Stability, Adobe et d'autres.

Les défenses contre Attaque Nightshade combinent habituellement des contrôles techniques et des pratiques opérationnelles, comme détaillé dans la définition ci-dessus.

Noms alternatifs courants : Empoisonnement Nightshade, Variante offensive de Glaze.