良性、温和或灾难性:过拟合的一种分类法
机器学习
2024-07-17 v3 人工智能
计算机视觉与模式识别
机器学习
摘要
过参数化神经网络的实际成功推动了近期对插值方法(完美拟合其训练数据)的科学研究。某些插值方法,包括神经网络,能够拟合含噪训练数据而不会出现灾难性的糟糕测试性能,这违背了统计学习理论的标准直觉。为解释这一现象,近期一系列工作研究了良性过拟合,即某些插值方法即使在噪声存在时也接近贝叶斯最优。本文中我们认为,尽管良性过拟合的研究具有启发性和成果,许多真实的插值方法如神经网络并非良性拟合:训练集中的适度噪声导致测试时非零(但非无穷)的额外风险,意味着这些模型既非良性也非灾难性,而是处于中间 regime。我们称这一中间 regime 为温和过拟合,并启动其系统性研究。我们首先在核(岭)回归 (KR) 背景下探索这一现象,得到核参数和核特征谱在何种条件下 KR 表现出三种行为之一。我们发现具有幂律谱的核,包括拉普拉斯核和 ReLU 神经正切核,表现出温和过拟合。然后我们通过该分类法实证研究了深度神经网络,发现那些训练至插值的网络是温和的,而早停的网络是良性的。我们希望我们的工作能带来对现代学习中过拟合更精细的理解。
引用
@article{arxiv.2207.06569,
title = {Benign, Tempered, or Catastrophic: A Taxonomy of Overfitting},
author = {Neil Mallinar and James B. Simon and Amirhesam Abedsoltan and Parthe Pandit and Mikhail Belkin and Preetum Nakkiran},
journal= {arXiv preprint arXiv:2207.06569},
year = {2024}
}
备注
NM and JS co-first authors