两块偏最小二乘回归的 PRESS 统计量
统计方法学
2013-02-26 v1
摘要
在许多数据挖掘应用中，对协变量和响应变量均为高维的多元数据进行预测建模正成为日益流行的任务。在这些情况下，偏最小二乘（Partial Least Squares, PLS）回归通常是一种有用的模型，因为它通过假设存在少量可能解释输入与输出之间线性依赖关系的潜在因子来进行降维。在实践中，必须仔细选择要保留的潜在因子数，因为它控制着模型的复杂度及其预测能力。通常，这是通过对预测误差等性能度量进行交叉验证来完成的。尽管交叉验证在许多实际场景中效果良好，但其计算成本可能很高。人们还提出了 PLS 的各种扩展，用于正则化 PLS 解并同时进行降维和变量选择，但这以增加额外的复杂度参数为代价，这些参数同样需要通过交叉验证来调节。在本文中，我们推导出了一种计算高效的留一交叉验证（Leave-One-Out Cross Validation, LOOCV）替代方法，即一种用于两块 PLS 的预测平方和（Predicted Sum of Squares, PRESS）统计量。我们表明，该 PRESS 与 LOOCV 几乎相同，但计算成本仅相当于单次 PLS 模型拟合。本文提供了使用 PRESS 选择潜在因子数和正则化参数的示例。
引用
@article{arxiv.1302.5856,
title = {A PRESS statistic for two-block partial least squares regression},
author = {Brian McWilliams and Giovanni Montana},
journal= {arXiv preprint arXiv:1302.5856},
year = {2013}
}