最小二乘密度估计中 $V$ 折交叉验证的 $V$ 值选择

Sylvain Arlot; Matthieu Lerasle

最小二乘密度估计中 $V$ 折交叉验证的 $V$ 值选择

统计理论 2015-10-13 v3 机器学习统计理论

作者: Sylvain Arlot , Matthieu Lerasle

摘要

本文研究了最小二乘密度估计中模型选择的 $V$ 折交叉验证。其目标是为选择 $V$ 提供理论依据，以最小化所选估计量的最小二乘损失。我们首先证明了 $V$ 折交叉验证及其偏差校正版本（ $V$ 折惩罚）的非渐近 Oracle 不等式。特别是，该结果表明 $V$ 折惩罚在非参数情形下是渐近最优的。随后，我们计算了 $V$ 折交叉验证及相关准则的方差，以及模型选择性能关键量的方差。我们表明，至少在特定情况下，这些方差依赖于 $V$ 的形式为 $1+4/(V-1)$ ，这表明性能从 $V=2$ 到 $V=5$ 或 $10$ 提升显著，此后几乎保持不变。总体而言，这可以解释通常建议取 $V=5$ 的做法——至少在我们的设定中且当计算能力有限时——这一点得到了一些模拟实验的支持。我们还证明了蒙特卡洛交叉验证（也称为重复交叉验证）的 Oracle 不等式和方差精确公式，其中参数 $V$ 被数据随机划分的次数 $B$ 所取代。

关键词

$V$ 折交叉验证模型选择最小二乘密度估计 Oracle 不等式方差分析 $V$ 折惩罚蒙特卡洛交叉验证

引用

@article{arxiv.1210.5830,
  title  = {Choice of V for V-Fold Cross-Validation in Least-Squares Density Estimation},
  author = {Sylvain Arlot and Matthieu Lerasle},
  journal= {arXiv preprint arXiv:1210.5830},
  year   = {2015}
}

最小二乘密度估计中 $V$ 折交叉验证的 $V$ 值选择

摘要

关键词

引用

相关论文