良性过拟合究竟有多良性？
机器学习
2020-07-09 v1 机器学习
摘要
我们研究了深度神经网络中对抗脆弱性的两个原因：坏数据和(欠佳)训练的模型。当使用SGD训练时，深度神经网络基本实现了零训练误差，即使在存在标签噪声的情况下，同时在自然测试数据上表现出良好的泛化能力，这被称为良性过拟合[2, 10]。然而，这些模型易受对抗攻击。我们确定标签噪声是对抗脆弱性的原因之一，并提供了理论和经验证据予以支持。令人惊讶的是，我们在MNIST和CIFAR等数据集中发现了若干标签噪声实例，且鲁棒训练的模型在其中一些上产生了训练误差，即它们未拟合噪声。然而，仅移除噪声标签不足以实现对抗鲁棒性。标准训练过程使神经网络偏向学习“简单”的分类边界，其可能不如更复杂的边界鲁棒。我们观察到对抗训练确实产生更复杂的决策边界。我们推测，对复杂决策边界的部分需求源于次优的表示学习。借助简单玩具示例，我们从理论上展示了表示的选择如何剧烈影响对抗鲁棒性。
引用
@article{arxiv.2007.04028,
title = {How benign is benign overfitting?},
author = {Amartya Sanyal and Puneet K Dokania and Varun Kanade and Philip H. S. Torr},
journal= {arXiv preprint arXiv:2007.04028},
year = {2020}
}