高维情形下带保证的近似留一交叉验证

在机器学习评估任务中（例如评估方法的误差或变异性），留一交叉验证（LOOCV）在各类交叉验证（CV）变体中可能尤为准确。但对于规模为 $N$ 的数据集，重新拟合模型 $N$ 次代价高昂。已有研究表明，LOOCV 的近似可以既快速又准确——当未知参数为较小固定维度时。但这些近似的运行时间大致随维度呈三次方增长——并且我们证明，除计算问题外，其在高维下的准确性急剧恶化。已有作者提出许多潜在且看似直观的解决方案，但这些方法尚未被系统评估或比较。我们发现除一种外，其余均表现极差，无法用于近似 LOOCV。但关键的是，我们能够从经验和理论上证明，在高维参数呈现稀疏性的情况下，有一种近似可以在高维中表现良好。在可解释的假设下，我们的理论表明该问题可化简为在经验恢复的（小的）支撑集内工作。该过程易于实现，并且我们证明即便完整参数维度很大，其运行时间和误差也依赖于（小的）支撑集大小。