岭回归中 K 折交叉验证与优良正则化参数值的快速计算新公式

本文证明了一个新定理，由此得到一个线性回归模型残差的更新公式，可在无需重新拟合模型的情况下，针对任意交叉验证策略精确计算 k 折交叉验证残差。所需的矩阵求逆受限于交叉验证分段大小，并可高效并行执行。著名的留一交叉验证公式可作为该定理的一个特例得出。在交叉验证分段由重复测量的小组构成的情况下，我们提出一种启发式策略，用于交叉验证残差及相关预测残差平方和（PRESS）统计量的快速串行近似。我们还提出了在选定正则化值区间内高效估计最小 PRESS 值及完整 PRESS 函数的策略。基于我们的理论发现和启发式论证，岭回归与 Tikhonov 回归建模中参数选择的计算有效性在多个真实及高维多元数据集的应用中得到了展示。