基于交叉验证的估计稳定性 (ESCV)

交叉验证 (CV) 常用于在高维问题中选择正则化参数。然而，当应用于稀疏建模方法 Lasso 时，CV 在高维下会导致模型不稳定，从而不适合进行可靠的解释。在本文中，我们提出了一种基于新的估计稳定性 (ES) 度量与 CV 的无关模型准则 ESCV。我们提出的 ESCV 能够找到一个比 CV 选择更小且局部 ES 最优的模型，使其既拟合数据又具备估计稳定性。我们证明，ESCV 在与 CV 相当且易于并行化的计算成本下，是 CV 的有效替代方案。特别地，我们在模拟数据集和真实数据集上对 Lasso 比较了这两种方法的若干性能指标。对于实践中常见的相依预测变量，我们的主要发现是，ESCV 大幅降低了假阳性率，同时仅牺牲了极小的真阳性率。在参数估计方面，ESCV 通常优于 CV，而在预测方面则给出与 CV 相当的性能。对于来自神经科学和细胞生物学的两个真实数据集，ESCV 找到的模型规模不到 CV 模型规模的一半。根据学科知识判断，它们也比 CV 找到的模型更合理。我们还讨论了两种方法中均出现的若干正则化参数对齐问题。