Ataque Nightshade
O que é Ataque Nightshade?
Ataque NightshadeTécnica de envenenamento de dados desenvolvida pela equipa Glaze da Universidade de Chicago que adiciona perturbações impercetíveis a imagens, fazendo com que modelos text-to-image treinados nelas aprendam conceitos profundamente distorcidos.
Publicado em 2023-2024 por Shan et al., o Nightshade permite que artistas resistam ao scraping não autorizado das suas obras para treino de IA generativa. As imagens perturbadas parecem iguais ao olho humano, mas, uma vez no conjunto de treino, levam o modelo a associar mal conceitos: uma imagem "cão" envenenada pode ensinar o modelo a desenhar gatos, ou distorcer estilos artísticos até os tornar inúteis. Poucas imagens Nightshade bastam para degradar a qualidade. Apresentado como ferramenta defensiva para criadores, é tecnicamente um ataque de cadeia de fornecimento contra corpora raspados e estimulou investigação em sourcing respeitador de direitos, higiene de datasets, registos de opt-out e proveniência em empresas como OpenAI, Stability ou Adobe.
● Exemplos
- 01
Um ilustrador publica imagens de portfólio perturbadas com Nightshade para desincentivar a sua inclusão em corpora de treino.
- 02
Um modelo de difusão cuja qualidade degrada após ingerir alguns milhares de imagens Nightshade de conceitos comuns.
● Perguntas frequentes
O que é Ataque Nightshade?
Técnica de envenenamento de dados desenvolvida pela equipa Glaze da Universidade de Chicago que adiciona perturbações impercetíveis a imagens, fazendo com que modelos text-to-image treinados nelas aprendam conceitos profundamente distorcidos. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Ataque Nightshade?
Técnica de envenenamento de dados desenvolvida pela equipa Glaze da Universidade de Chicago que adiciona perturbações impercetíveis a imagens, fazendo com que modelos text-to-image treinados nelas aprendam conceitos profundamente distorcidos.
Como funciona Ataque Nightshade?
Publicado em 2023-2024 por Shan et al., o Nightshade permite que artistas resistam ao scraping não autorizado das suas obras para treino de IA generativa. As imagens perturbadas parecem iguais ao olho humano, mas, uma vez no conjunto de treino, levam o modelo a associar mal conceitos: uma imagem "cão" envenenada pode ensinar o modelo a desenhar gatos, ou distorcer estilos artísticos até os tornar inúteis. Poucas imagens Nightshade bastam para degradar a qualidade. Apresentado como ferramenta defensiva para criadores, é tecnicamente um ataque de cadeia de fornecimento contra corpora raspados e estimulou investigação em sourcing respeitador de direitos, higiene de datasets, registos de opt-out e proveniência em empresas como OpenAI, Stability ou Adobe.
Como se defender contra Ataque Nightshade?
As defesas contra Ataque Nightshade costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Ataque Nightshade?
Nomes alternativos comuns: Envenenamento Nightshade, Variante ofensiva do Glaze.
● Termos relacionados
- ai-security№ 281
Envenenamento de dados
Ataque a um sistema de aprendizagem automática em que adversários injetam, alteram ou reetiquetam dados de treino para que o modelo resultante se comporte de forma incorreta ou contenha backdoors ocultas.
- ai-security№ 034
Risco de cadeia de fornecimento de IA
Conjunto de ameaças decorrentes dos datasets, modelos base, bibliotecas, plug-ins e infraestrutura de terceiros que as organizações combinam para construir e implementar sistemas de IA.
- ai-security№ 035
Marca de água de IA
Técnicas que incorporam um sinal detetável em conteúdo gerado por IA para que a sua proveniência, modelo de origem ou pertença ao conjunto de treino possam ser verificados depois.
- ai-security№ 027
Governança de IA
Conjunto de políticas, processos, papéis e controlos usados por organizações e reguladores para garantir que sistemas de IA são desenvolvidos, implementados e operados de forma responsável e conforme à lei.
- ai-security№ 1123
Média sintética
Qualquer conteúdo de áudio, imagem, vídeo ou texto produzido ou modificado substancialmente por IA generativa, em vez de captado diretamente do mundo físico.
- ai-security№ 026
Deteção de conteúdo gerado por IA
Ferramentas e técnicas que estimam se um texto, imagem, áudio ou vídeo foi produzido por um modelo de IA e não por um humano.