Ataque Adaptativo
O que é Ataque Adaptativo?
Ataque AdaptativoAtaque a um sistema de ML especificamente concebido para contornar ou quebrar uma defesa conhecida, em vez de usar uma tecnica generica e independente da defesa.
Um ataque adaptativo e construido com pleno conhecimento da defesa alvo e dos seus pressupostos, ajustando a sua funcao de perda ou restricoes para a contornar. O termo foi popularizado por Carlini e Wagner, cujas avaliacoes mostraram repetidamente que defesas reivindicadas como robustas contra exemplos adversariais genericos caiam quando o atacante desenhava um objetivo especifico contra elas. Os ataques adaptativos sao hoje um padrao de avaliacao: qualquer defesa proposta para exemplos adversariais, marcas de agua ou deteccao deve ser testada contra adversarios informados e capazes de adaptar a sua metodologia. Saltar este passo conduz regularmente a alegacoes de robustez sobrevalorizadas que caem perante ataques simples e bem fundamentados.
● Exemplos
- 01
Carlini e Wagner quebram multiplos detectores de exemplos adversariais redirecionando a perda do ataque para a regra de decisao de cada detector.
- 02
Um ataque adaptativo derrota um esquema de marca de agua para imagens geradas por IA otimizando as perturbacoes face ao detector publicado.
● Perguntas frequentes
O que é Ataque Adaptativo?
Ataque a um sistema de ML especificamente concebido para contornar ou quebrar uma defesa conhecida, em vez de usar uma tecnica generica e independente da defesa. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Ataque Adaptativo?
Ataque a um sistema de ML especificamente concebido para contornar ou quebrar uma defesa conhecida, em vez de usar uma tecnica generica e independente da defesa.
Como funciona Ataque Adaptativo?
Um ataque adaptativo e construido com pleno conhecimento da defesa alvo e dos seus pressupostos, ajustando a sua funcao de perda ou restricoes para a contornar. O termo foi popularizado por Carlini e Wagner, cujas avaliacoes mostraram repetidamente que defesas reivindicadas como robustas contra exemplos adversariais genericos caiam quando o atacante desenhava um objetivo especifico contra elas. Os ataques adaptativos sao hoje um padrao de avaliacao: qualquer defesa proposta para exemplos adversariais, marcas de agua ou deteccao deve ser testada contra adversarios informados e capazes de adaptar a sua metodologia. Saltar este passo conduz regularmente a alegacoes de robustez sobrevalorizadas que caem perante ataques simples e bem fundamentados.
Como se defender contra Ataque Adaptativo?
As defesas contra Ataque Adaptativo costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Ataque Adaptativo?
Nomes alternativos comuns: Ataque consciente da defesa, Avaliacao adaptativa em caixa-branca.
● Termos relacionados
- ai-security№ 1168
Ataque Adversarial Transferivel
Ataque em que exemplos adversariais criados contra um modelo de ML tambem enganam outros modelos nao vistos, permitindo ataques em caixa-preta sem acesso ao alvo.
- ai-security№ 018
Exemplo adversarial
Entrada perturbada deliberadamente — muitas vezes de forma imperceptível para humanos — para que um modelo de ML produza uma predição errada ou escolhida pelo atacante.
- ai-security№ 032
Red team de IA
Equipa especializada que simula adversários contra sistemas de IA para descobrir riscos de segurança, safety e uso indevido antes dos atacantes reais.
- ai-security№ 026
Deteção de conteúdo gerado por IA
Ferramentas e técnicas que estimam se um texto, imagem, áudio ou vídeo foi produzido por um modelo de IA e não por um humano.