平滑对抗训练
机器学习
2021-07-13 v2 计算机视觉与模式识别
神经与进化计算
摘要
人们通常认为网络不可能同时准确且鲁棒，获得鲁棒性意味着损失准确性。人们也普遍认为，除非扩大网络规模，网络架构元素在改善对抗鲁棒性方面 otherwise 作用甚微。在此，我们通过一项关于对抗训练的细致研究提出证据挑战这些常见观念。我们的关键观察是，广泛使用的 ReLU 激活函数因其非平滑本性显著削弱了对抗训练。因此我们提出平滑对抗训练（SAT），其中我们用 ReLU 的平滑近似替代 ReLU 以加强对抗训练。SAT 中平滑激活函数的目的是使其在对抗训练中能找到更难的对抗样本并计算更好的梯度更新。相比标准对抗训练，SAT “免费”提升对抗鲁棒性，即准确性不下降且计算成本不增加。例如，在不引入额外计算的情况下，SAT 将 ResNet-50 的鲁棒性从 33.0% 显著提升至 42.3%，同时在 ImageNet 上还将准确性提高 0.9%。SAT 也对更大网络有效：它帮助 EfficientNet-L1 在 ImageNet 上达到 82.2% 准确性和 58.6% 鲁棒性，以准确性高出 9.5%、鲁棒性高出 11.6% 优于先前最先进防御。模型可在 https://github.com/cihangxie/SmoothAdversarialTraining 获取。
引用
@article{arxiv.2006.14536,
title = {Smooth Adversarial Training},
author = {Cihang Xie and Mingxing Tan and Boqing Gong and Alan Yuille and Quoc V. Le},
journal= {arXiv preprint arXiv:2006.14536},
year = {2021}
}
备注
tech report