重新审视对抗训练中的外层优化
机器学习
2022-09-05 v1
摘要
尽管对抗训练（AT）与自然训练（NT）存在根本区别，AT方法通常对外层优化采用动量SGD（MSGD）。本文旨在通过研究AT中被忽视的外层优化作用来分析这一选择。我们的探索性评估揭示，与NT相比，AT引发了更高的梯度范数与方差。这一现象阻碍了AT中的外层优化，因为MSGD的收敛速率高度依赖于梯度的方差。为此，我们提出一种称为ENGM的优化方法，其对每个输入样本对平均小批量梯度的贡献进行正则化。我们证明ENGM的收敛速率独立于梯度的方差，因而适用于AT。我们引入一种技巧，利用关于网络参数与输入样本梯度的范数之间相关性的经验观测来降低ENGM的计算成本。我们在CIFAR-10、CIFAR-100和TinyImageNet上的广泛评估与消融研究证明，ENGM及其变体一致地改进了多种AT方法的性能。此外，ENGM缓解了AT的主要缺陷，包括鲁棒过拟合与对超参数设置的高敏感性。
引用
@article{arxiv.2209.01199,
title = {Revisiting Outer Optimization in Adversarial Training},
author = {Ali Dabouei and Fariborz Taherkhani and Sobhan Soleymani and Nasser M. Nasrabadi},
journal= {arXiv preprint arXiv:2209.01199},
year = {2022}
}