交叉验证误差结构：稳定性、协方差与最小混沌极限

尽管交叉验证（CV）的理论研究正在进行中，但许多理论问题仍广泛开放。这促使我们调查算法-分布对组合如何影响 k 折 CV 中折数选择。我们的结果包括对交叉验证风险估计均方误差的一种新颖分解，该分解显式捕获了重叠折片之间误差估计的相关性，并包含一种新的算法稳定性概念——平方损失稳定性，该概念比其他可比作品中通常要求的假设稳定性弱得多。此外，我们证明：1. 对任何最小化经验风险的学习算法，k 折交叉验证估计器 $\widehat{L}_{\mathrm{CV}}^{(k)}$ 对总体风险 $L_{D}$ 的均方误差满足以下最小混沌下界：$$\min_{k \mid n} \max_{D} \mathbb{E}\left[\big(\widehat{L}_{\mathrm{CV}}^{(k)} - L_{D}\big)^{2}\right]=\Omega\big(\sqrt{k^*}/n\big),$$其中 $n$ 为样本大小，$k$ 为折数，$k^*$ 表示实现最小混沌极限的折数。这表明即使在理想化条件下，对于较大的 $k$ 值，CV 无法达到由大小为 $n$ 的验证集可实现的 $1/n$ 阶最优值，反映了折片之间依赖性所致的固有惩罚。2. 另方面，我们构造了一些学习规则，使得 $$\max_{D}\mathbb{E}\!\left[\big(\widehat{L}_{\mathrm{CV}}^{(k)} - L_{D}\big)^{2}\right]=\Omega(k/n),$$ 与大小为 $n/k$ 的单折验证估计器的精度相当（常数因子内）。这些结果描绘了基于抽样的风险估计中的根本性权衡：CV 无法完全利用所有 $n$ 个样本进行无偏风险评估，其最小混沌性能位于 $k/n$ 与 $\sqrt{k}/n$ 区间之间。