对抗鲁棒深度学习中的过拟合
机器学习
2020-03-05 v2 机器学习
摘要
在深度学习中，使用过参数化网络并尽可能长时间地训练是一种常见做法；大量研究从理论和经验上表明，此类做法出人意料地不会过度损害分类器的泛化性能。在本文中，我们在对抗训练的深度网络这一设定下对这一现象进行实证研究，此类网络被训练以最小化最坏情况对抗扰动下的损失。我们发现，在多个数据集（SVHN、CIFAR-10、CIFAR-100 和 ImageNet）和扰动模型（ 和 ）的对抗鲁棒训练中，对训练集的过拟合确实在很大程度上损害了鲁棒性能。基于这一观察到的效应，我们表明，几乎所有近期对抗训练算法改进的增益都可以通过简单地使用早停来匹配。我们还表明，双下降曲线等效应在对抗训练模型中仍然出现，却无法解释所观察到的过拟合。最后，我们研究了几种经典和现代的深度学习过拟合补救措施，包括正则化和数据增强，发现没有任何一种单独的方法能显著优于早停所带来的增益。用于复现实验的所有代码以及预训练模型权重和训练日志可在 https://github.com/locuslab/robust_overfitting 找到。
引用
@article{arxiv.2002.11569,
title = {Overfitting in adversarially robust deep learning},
author = {Leslie Rice and Eric Wong and J. Zico Kolter},
journal= {arXiv preprint arXiv:2002.11569},
year = {2020}
}