Атака Nightshade.

Техника отравления данных, разработанная группой Glaze в University of Chicago: добавляет к изображениям незаметные искажения, чтобы text-to-image модели, обучаемые на них, усваивали сильно искажённые концепты. Относится к категории Безопасность ИИ и ML в кибербезопасности.

Техника отравления данных, разработанная группой Glaze в University of Chicago: добавляет к изображениям незаметные искажения, чтобы text-to-image модели, обучаемые на них, усваивали сильно искажённые концепты.

Опубликованный Shan и соавторами в 2023-2024 годах Nightshade даёт художникам возможность ответить на несанкционированный сбор их работ для обучения генеративного ИИ. Искажённые картинки выглядят прежними для человека, но, попав в обучающую выборку, заставляют модель неверно связывать концепты — отравленное "dog" заставляет модель рисовать кошек, а художественные стили искажаются до неузнаваемости. Достаточно нескольких тысяч таких изображений, чтобы заметно ухудшить качество. Хотя позиционируется как защитный инструмент, технически это атака на цепочку поставок против собранных датасетов; она подстегнула исследования по copyright-aware-данным, гигиене датасетов, opt-out-реестрам и происхождению в OpenAI, Stability, Adobe и других компаниях.

Защита от Атака Nightshade обычно сочетает технические меры и операционные практики, как описано в определении выше.

Распространённые альтернативные названия: Отравление Nightshade, Наступательный вариант Glaze.