分类中的良性过拟合：以更大模型可证明地对抗标签噪声
机器学习
2023-04-04 v2 人工智能
机器学习
摘要
关于良性过拟合的研究为过参数化深度学习模型的成功提供了见解。在这项工作中，我们考察在现实世界分类任务中过拟合是否真正良性。我们从观察到ResNet模型在Cifar10上良性过拟合而在ImageNet上并非良性过拟合开始。为了理解为何良性过拟合在ImageNet实验中失败，我们在更受限的设置下从理论上分析良性过拟合，其中参数数量并不显著大于数据点数量。在这种轻度过参数化设置下，我们的分析识别出一个相变：与以往重度过参数化情形不同，良性过拟合现在可能在存在标签噪声时失败。我们的分析解释了我们的经验观察，并通过一组使用ResNets的对照实验得到验证。我们的工作强调了理解欠拟合机制下隐式偏置的重要性，将其作为未来方向。
引用
@article{arxiv.2206.00501,
title = {Benign Overfitting in Classification: Provably Counter Label Noise with Larger Models},
author = {Kaiyue Wen and Jiaye Teng and Jingzhao Zhang},
journal= {arXiv preprint arXiv:2206.00501},
year = {2023}
}
备注
Published as a conference paper at ICLR 2023