核回归的泛化误差率：从无噪声到含噪声机制的转变
机器学习
2022-11-29 v2 无序系统与神经网络
机器学习
摘要
在本稿件中，我们考虑高斯设计下的核岭回归（KRR）。在各种工作中，已报道了 KRR 超额泛化误差衰减的指数，这些报道基于特征协方差特征值幂律衰减的假设。然而，这些衰减是在显著不同的设定下给出的，即在无噪声情形采用常数正则化，以及在含噪声最优正则化情形。中间设置基本上未被探索。在这项工作中，我们统一并扩展了这一研究脉络，刻画了根据噪声与正则化相互作用可观察到的所有机制与超额误差衰减率。特别地，我们展示了在含噪声设定中，随着样本复杂度的增加，存在从无噪声指数到其噪声值的转变。最后，我们说明了这种转变如何也能在真实数据集上观察到。
引用
@article{arxiv.2105.15004,
title = {Generalization Error Rates in Kernel Regression: The Crossover from the Noiseless to Noisy Regime},
author = {Hugo Cui and Bruno Loureiro and Florent Krzakala and Lenka Zdeborová},
journal= {arXiv preprint arXiv:2105.15004},
year = {2022}
}
备注
22 pages, 10 figures, 2 tables