Ataque de evasão (ML)
O que é Ataque de evasão (ML)?
Ataque de evasão (ML)Ataque em tempo de inferência em que o adversário cria entradas que contornam a decisão pretendida de um modelo de ML implementado, como um classificador de malware ou um filtro de conteúdo.
Os ataques de evasão ocorrem depois do treino e implementação: o atacante não toca no pipeline de treino, manipulando antes as consultas para escapar à deteção. A maioria usa exemplos adversariais, mas a família inclui também táticas mais simples — malware polimórfico, ofuscação de caracteres contra moderação de texto, clonagem de voz contra verificação de orador, ou transformações contra hashing percetual. O relatório NIST AI 100-2 classifica a evasão entre as quatro principais ameaças adversariais de ML, ao lado do poisoning, privacidade e abuso. As defesas incluem treino adversarial, engenharia de features robusta, deteção multimodal ou em ensemble, sanitização de entradas em runtime, telemetria sobre drift de confiança e controlos rigorosos das APIs.
● Exemplos
- 01
Malware ofuscado que um classificador estático de ML considera benigno mas que executa o seu payload.
- 02
Texto cheio de homoglifos que passa por um classificador de toxicidade, mas é idêntico para um humano.
● Perguntas frequentes
O que é Ataque de evasão (ML)?
Ataque em tempo de inferência em que o adversário cria entradas que contornam a decisão pretendida de um modelo de ML implementado, como um classificador de malware ou um filtro de conteúdo. Pertence à categoria Segurança de IA e ML da cibersegurança.
O que significa Ataque de evasão (ML)?
Ataque em tempo de inferência em que o adversário cria entradas que contornam a decisão pretendida de um modelo de ML implementado, como um classificador de malware ou um filtro de conteúdo.
Como funciona Ataque de evasão (ML)?
Os ataques de evasão ocorrem depois do treino e implementação: o atacante não toca no pipeline de treino, manipulando antes as consultas para escapar à deteção. A maioria usa exemplos adversariais, mas a família inclui também táticas mais simples — malware polimórfico, ofuscação de caracteres contra moderação de texto, clonagem de voz contra verificação de orador, ou transformações contra hashing percetual. O relatório NIST AI 100-2 classifica a evasão entre as quatro principais ameaças adversariais de ML, ao lado do poisoning, privacidade e abuso. As defesas incluem treino adversarial, engenharia de features robusta, deteção multimodal ou em ensemble, sanitização de entradas em runtime, telemetria sobre drift de confiança e controlos rigorosos das APIs.
Como se defender contra Ataque de evasão (ML)?
As defesas contra Ataque de evasão (ML) costumam combinar controles técnicos e práticas operacionais, conforme detalhado na definição acima.
Quais são outros nomes para Ataque de evasão (ML)?
Nomes alternativos comuns: Ataque em inferência, Evasão de modelo.
● Termos relacionados
- ai-security№ 018
Exemplo adversarial
Entrada perturbada deliberadamente — muitas vezes de forma imperceptível para humanos — para que um modelo de ML produza uma predição errada ou escolhida pelo atacante.
- ai-security№ 081
Ataque de backdoor (ML)
Ataque em tempo de treino que implanta um comportamento oculto no modelo: ele age normalmente em entradas limpas e produz uma saída escolhida pelo atacante sempre que aparece um gatilho secreto.
- ai-security№ 032
Red team de IA
Equipa especializada que simula adversários contra sistemas de IA para descobrir riscos de segurança, safety e uso indevido antes dos atacantes reais.
- ai-security№ 691
MLSecOps
Disciplina que integra controlos de segurança e risco em todo o ciclo de vida do machine learning, desde a recolha de dados até treino, implementação, monitorização e desativação.
- ai-security№ 281
Envenenamento de dados
Ataque a um sistema de aprendizagem automática em que adversários injetam, alteram ou reetiquetam dados de treino para que o modelo resultante se comporte de forma incorreta ou contenha backdoors ocultas.
- ai-security№ 777
OWASP LLM Top 10
Lista mantida pela OWASP com os dez riscos de segurança mais críticos para aplicações construídas sobre grandes modelos de linguagem.