对抗训练中记忆效应的探索
机器学习
2022-03-15 v2 计算机视觉与模式识别
机器学习
摘要
深度学习模型倾向于拟合整个训练集，即使标签是随机的，这需要对每个训练样本进行记忆。在本文中，我们探索对抗训练（AT）中的记忆效应，以促进对模型容量、收敛性、泛化性，尤其是对抗训练模型的鲁棒过拟合的更深入理解。我们首先证明深度网络具有足够的容量来记忆具有完全随机标签的训练数据的对抗样本，但并非所有 AT 算法在这种极端情况下都能收敛。我们对随机标签 AT 的研究促使进一步分析 AT 的收敛性和泛化性。我们发现一些 AT 方法存在梯度不稳定性问题，且大多数近期提出的复杂度度量无法通过考虑在随机标签上训练的模型来解释鲁棒泛化。此外，我们识别出 AT 中记忆的一个显著缺陷，即它可能导致鲁棒过拟合。然后我们基于详细的记忆分析提出了一种新的缓解算法。在各种数据集上的大量实验验证了所提方法的有效性。
引用
@article{arxiv.2106.01606,
title = {Exploring Memorization in Adversarial Training},
author = {Yinpeng Dong and Ke Xu and Xiao Yang and Tianyu Pang and Zhijie Deng and Hang Su and Jun Zhu},
journal= {arXiv preprint arXiv:2106.01606},
year = {2022}
}
备注
Accepted by ICLR 2022. 24 pages