Отравление данных.

Атака на систему машинного обучения, при которой злоумышленники внедряют, изменяют или меняют разметку обучающих данных, чтобы итоговая модель работала неверно или содержала скрытые бэкдоры. Относится к категории Безопасность ИИ и ML в кибербезопасности.

Атака на систему машинного обучения, при которой злоумышленники внедряют, изменяют или меняют разметку обучающих данных, чтобы итоговая модель работала неверно или содержала скрытые бэкдоры.

Отравление данных направлено на этап обучения в ML-жизненном цикле. Злоумышленник манипулирует датасетами — веб-краулы, краудсорсинговые метки, корпуса для дообучения, журналы обратной связи — чтобы внести смещение, снизить точность или встроить поведение, активируемое триггером. Carlini и соавторы показали в 2023 году, что даже ничтожная доля отравленных веб-данных способна испортить крупные корпуса предобучения. Варианты включают атаки на доступность, целевые атаки и бэкдор-атаки. Защита строится на происхождении и подписи датасетов, дедупликации, выявлении аномалий в обучающих данных, устойчивых алгоритмах обучения и непрерывной оценке на бенчмарках и adversarial-тестах.

Защита от Отравление данных обычно сочетает технические меры и операционные практики, как описано в определении выше.

Распространённые альтернативные названия: Отравление обучающих данных, Отравление датасета.