幂律衰减下核岭回归渐近学习曲线研究
机器学习
2023-09-26 v1 统计理论
统计理论
摘要
神经网络文献中广泛观察到的“良性过拟合现象”对统计学习理论中的“偏差-方差权衡”信条提出了挑战。由于“惰性训练”的过参数化神经网络的泛化能力可很好地由神经正切核回归近似，核岭回归的超额风险曲线（即学习曲线）近期受到越来越多的关注。然而，近期关于学习曲线的论述多为启发式，且基于“高斯设计”假设。在本文中，在温和且更现实的假设下，我们严格给出了学习曲线的完整刻画：阐明了正则化参数选择、源条件和噪声的作用及其相互作用。特别地，我们的结果表明，“良性过拟合现象”仅当噪声水平较小时才存在于极宽神经网络中。
引用
@article{arxiv.2309.13337,
title = {On the Asymptotic Learning Curves of Kernel Ridge Regression under Power-law Decay},
author = {Yicheng Li and Haobo Zhang and Qian Lin},
journal= {arXiv preprint arXiv:2309.13337},
year = {2023}
}