Атака Nightshade
Что такое Атака Nightshade?
Атака NightshadeТехника отравления данных, разработанная группой Glaze в University of Chicago: добавляет к изображениям незаметные искажения, чтобы text-to-image модели, обучаемые на них, усваивали сильно искажённые концепты.
Опубликованный Shan и соавторами в 2023-2024 годах Nightshade даёт художникам возможность ответить на несанкционированный сбор их работ для обучения генеративного ИИ. Искажённые картинки выглядят прежними для человека, но, попав в обучающую выборку, заставляют модель неверно связывать концепты — отравленное "dog" заставляет модель рисовать кошек, а художественные стили искажаются до неузнаваемости. Достаточно нескольких тысяч таких изображений, чтобы заметно ухудшить качество. Хотя позиционируется как защитный инструмент, технически это атака на цепочку поставок против собранных датасетов; она подстегнула исследования по copyright-aware-данным, гигиене датасетов, opt-out-реестрам и происхождению в OpenAI, Stability, Adobe и других компаниях.
● Примеры
- 01
Иллюстратор публикует портфолио, обработанное Nightshade, чтобы помешать использованию работ в обучающих наборах.
- 02
Диффузионная модель заметно теряет качество после обучения на нескольких тысячах Nightshade-отравленных изображений популярных концептов.
● Частые вопросы
Что такое Атака Nightshade?
Техника отравления данных, разработанная группой Glaze в University of Chicago: добавляет к изображениям незаметные искажения, чтобы text-to-image модели, обучаемые на них, усваивали сильно искажённые концепты. Относится к категории Безопасность ИИ и ML в кибербезопасности.
Что означает Атака Nightshade?
Техника отравления данных, разработанная группой Glaze в University of Chicago: добавляет к изображениям незаметные искажения, чтобы text-to-image модели, обучаемые на них, усваивали сильно искажённые концепты.
Как защититься от Атака Nightshade?
Защита от Атака Nightshade обычно сочетает технические меры и операционные практики, как описано в определении выше.
Какие есть другие названия Атака Nightshade?
Распространённые альтернативные названия: Отравление Nightshade, Наступательный вариант Glaze.