对抗权重扰动有助于鲁棒泛化
机器学习
2020-10-14 v2 计算机视觉与模式识别
机器学习
摘要
近年来，关于提升深度神经网络对抗对抗样本的鲁棒性的研究迅速发展。其中，对抗训练是最有前景的方法，其通过对抗扰动样本训练来平坦化输入损失景观（关于输入的损失变化）。然而，广泛使用的权重损失景观（关于权重的损失变化）在对抗训练中的表现却鲜有探究。本文从新视角考察权重损失景观，并识别出权重损失景观的平坦度与鲁棒泛化差距之间的明确关联。若干公认的对抗训练改进，如早停、设计新目标函数或利用无标签数据，均隐式地平坦化权重损失景观。基于这些观察，我们提出一种简单而有效的对抗权重扰动（AWP）来显式正则化权重损失景观的平坦度，在对抗训练框架中形成对输入和权重均对抗扰动的双重扰动机制。大量实验表明，AWP 确实带来更平坦的权重损失景观，并可轻松融入各种现有对抗训练方法以进一步提升其对抗鲁棒性。
引用
@article{arxiv.2004.05884,
title = {Adversarial Weight Perturbation Helps Robust Generalization},
author = {Dongxian Wu and Shu-tao Xia and Yisen Wang},
journal= {arXiv preprint arXiv:2004.05884},
year = {2020}
}
备注
To appear in NeurIPS 2020