基于随机权重平均的对抗训练
机器学习
2020-09-23 v1 机器学习
摘要
深度神经网络的对抗训练常遭遇严重的过拟合问题。近来有解释认为，这种过拟合是因为训练数据的样本复杂度不足以泛化鲁棒性。在传统机器学习中，缓解因数据不足导致过拟合的一种方法是使用集成方法。然而，对抗训练多个网络极其昂贵。此外，我们发现生成对抗样本时在目标模型选择上存在两难：对集成成员优化攻击对集成而言是次优攻击并引发协变量偏移，而对集成攻击会削弱成员并丧失集成带来的益处。本文提出基于随机权重平均（SWA）的对抗训练；在进行对抗训练时，我们聚合训练轨迹中的时间权重状态。通过采用 SWA，可在不大幅增加计算量且不面临该两难的情况下获得集成的益处。此外，我们进一步改进 SWA 以适配对抗训练。在 CIFAR-10、CIFAR-100 和 SVHN 上的实证结果表明，我们的方法能提升模型的鲁棒性。
引用
@article{arxiv.2009.10526,
title = {Adversarial Training with Stochastic Weight Average},
author = {Joong-Won Hwang and Youngwan Lee and Sungchan Oh and Yuseok Bae},
journal= {arXiv preprint arXiv:2009.10526},
year = {2020}
}