理解对抗鲁棒性评估中的误差
密码学与安全
2021-01-08 v1
摘要
深度神经网络易被对抗样本误导。尽管已提出许多防御方法,但其中多数被证明在应对恰当实施的自适应攻击时失效。如何有效评估对抗鲁棒性对于深度模型的现实部署十分重要,但至今仍不清楚。为提供合理解决方案,首要之事之一是理解真实对抗鲁棒性与评估所得鲁棒性之间的误差(或差距)——它是什么以及为何存在。本文做了若干工作以厘清此问题。首先,我们引入了一种称为梯度陷阱(gradient traps)的有趣现象,其导致对抗攻击者能力不足,并被证明是评估误差的一种表现。随后,我们分析该误差并识别出其由三个分量构成,每一分量由一种特定的折衷所导致。此外,基于上述分析,我们给出了评估建议。在对抗训练及其变体上的实验表明:(1) 该误差在经验上确实存在;(2) 这些防御仍然脆弱。我们希望这些分析与结果将有助于学界开发更强大的防御。
引用
@article{arxiv.2101.02325,
title = {Understanding the Error in Evaluating Adversarial Robustness},
author = {Pengfei Xia and Ziqiang Li and Hongjing Niu and Bin Li},
journal= {arXiv preprint arXiv:2101.02325},
year = {2021}
}