双下降现象的 VC 理论解释
机器学习
2022-09-30 v3 机器学习
摘要
人们对可训练至零训练误差同时在测试数据上良好泛化的大型多层神经网络的泛化性能日益关注。这一 regime 被称为“第二次下降”，其似乎与模型复杂度应反映欠拟合与过拟合之间最优平衡（即偏差-方差权衡）的传统观点相矛盾。本文给出双下降的 VC 理论分析，并表明其可由经典 VC 泛化界完全解释。我们利用 SVM、最小二乘和多层感知机分类器等多种学习方法的实证结果，展示了用于建模分类双下降的解析 VC 界的应用。此外，我们讨论了深度学习界对 VC 理论结果产生误解的若干原因。
引用
@article{arxiv.2205.15549,
title = {VC Theoretical Explanation of Double Descent},
author = {Eng Hock Lee and Vladimir Cherkassky},
journal= {arXiv preprint arXiv:2205.15549},
year = {2022}
}