对抗样本.

经过有意扰动(通常人眼难以察觉)的输入,使机器学习模型给出错误的或攻击者指定的预测。 它属于网络安全的 AI 与机器学习安全 分类。

经过有意扰动(通常人眼难以察觉)的输入,使机器学习模型给出错误的或攻击者指定的预测。

对抗样本由 Szegedy 等人在 2013 年首次系统讨论,Goodfellow 等人 2014 年提出的 FGSM 表明,极小的像素级扰动即可让最先进的图像分类器高置信度地错分。生成方法通常采用基于梯度的优化(FGSM、PGD、Carlini-Wagner)或黑盒查询;它们在不同模型间具有可转移性,即使没有内部访问也能发起攻击。除图像外,对抗样本也存在于文本、音频、代码和恶意软件检测中,是大多数生产环境逃逸攻击的基础。常见防御手段包括对抗训练、认证鲁棒性(随机平滑)、输入预处理、模型集成与运行时异常检测,但在高维场景下仍无法获得完全鲁棒性。

针对 对抗样本 的防御通常结合技术控制与运营实践,详见上方完整定义。

常见的别称包括: 对抗输入, 对抗扰动。