关于（核）岭回归中过拟合代价的不可知视角
机器学习
2024-03-25 v2 机器学习
摘要
我们研究含噪核岭回归（KRR）中过拟合的代价，将其定义为插值无岭模型与最优调参模型的测试误差之比。我们采取如下意义的“不可知”视角：我们将代价视为任意目标函数下样本量的函数，即使样本量不足以达到一致性或目标在 RKHS 之外。我们在高斯普适性假设下，利用近期推导的（非严格）风险估计（以任务特征结构表示）分析过拟合代价。我们的分析对良性、温和与灾难性过拟合（参见 Mallinar 等人 2022）提供了更精细的刻画。
引用
@article{arxiv.2306.13185,
title = {An Agnostic View on the Cost of Overfitting in (Kernel) Ridge Regression},
author = {Lijia Zhou and James B. Simon and Gal Vardi and Nathan Srebro},
journal= {arXiv preprint arXiv:2306.13185},
year = {2024}
}
备注
This is the ICLR CR version