自适应攻击.

自适应攻击是在充分了解目标防御及其假设的前提下构建的，其损失函数或约束条件经过量身定制，以绕过该防御。这一术语由 Carlini 和 Wagner 推广开来，他们在 2017 年的研究 Adversarial Examples Are Not Easily Detected 中，一旦针对每个检测器的特定规则重新调整攻击，便攻破了十种提出的检测方法。

两项里程碑式的评估工作确立了自适应攻击的必要性。Athalye、Carlini 和 Wagner 在 ICML 2018 上发表的论文 Obfuscated Gradients Give a False Sense of Security 发现，ICLR 2018 接收的 9 种防御中有 7 种依赖于梯度掩蔽（gradient masking）——它们只是让梯度变得不具信息量，而非使模型真正具备鲁棒性——并利用 BPDA（Backward Pass Differentiable Approximation，反向传播可微近似，用于突破不可微的预处理）和 EOT（Expectation over Transformation，变换期望，用于击败随机化防御）等技术彻底攻破了其中的 6 种。2020 年，Tramèr、Carlini、Brendel 和 Madry 的 On Adaptive Attacks to Adversarial Example Defenses（NeurIPS）攻破了来自 ICLR、ICML 和 NeurIPS 的 13 种防御，表明即便是那些尝试进行自适应评估的作者，也常常构建出薄弱、未经量身定制的攻击。

由此得出的教训是：任何针对对抗样本、水印或 AI 内容检测的防御，都必须面对一个了解该防御并会调整其目标的对手进行评估，最好还能公开攻击代码。省略这一步骤往往会得出被夸大的鲁棒性主张，而这些主张会在简单而有原则的攻击面前土崩瓦解。

flowchart TD
  A[提出的机器学习防御<br/>声称具有鲁棒性] --> B[通用攻击<br/>例如标准 PGD]
  B -->|攻击失败| C[表面上的鲁棒性]
  C --> D{进行自适应评估?}
  D -->|跳过| E[被夸大的主张<br/>已发表]
  D -->|执行| F[攻击者研究防御的<br/>内部机制与假设]
  F --> G[针对防御定制损失 + BPDA / EOT]
  G --> H{防御是否幸存?}
  H -->|否| I[鲁棒性被推翻]
  H -->|是| J[真正具备鲁棒性<br/>的证据]