k近邻回归中留一交叉验证的快速计算方法
机器学习
2024-12-05 v2 数据结构与算法
机器学习
统计计算
统计方法学
摘要
我们描述了一种用于k近邻（k-NN）回归的留一交叉验证（LOOCV）的快速计算方法。我们证明，在最近邻的打破平局条件下，k-NN回归均方误差的LOOCV估计等于在训练数据上评估的(k+1)-NN回归的均方误差乘以缩放因子(k+1)^2/k^2。因此，要计算LOOCV分数，只需拟合一次(k+1)-NN回归，无需针对训练数据数量重复k-NN回归的训练-验证。数值实验证实了该快速计算方法的有效性。
引用
@article{arxiv.2405.04919,
title = {Fast Computation of Leave-One-Out Cross-Validation for $k$-NN Regression},
author = {Motonobu Kanagawa},
journal= {arXiv preprint arXiv:2405.04919},
year = {2024}
}
备注
To appear in Transactions of Machine Learning Research (TMLR)