偏最小二乘回归的自由度

推导偏最小二乘回归的统计性质可能是一项具有挑战性的任务。原因在于，从预测变量构建潜在成分也依赖于响应变量。虽然这通常在实践中带来良好的性能和可解释的模型，但它使得统计分析更加复杂。在这项工作中，我们研究了偏最小二乘回归的内在复杂性。我们的贡献是其自由度的无偏估计。它被定义为拟合值（视为响应变量的函数）的一阶导数的迹。我们建立了两种等价的表示，它们依赖于偏最小二乘与矩阵分解和 Krylov 子空间技术的紧密联系。我们表明，自由度取决于预测变量的共线性：共线性越低，自由度越高。特别地，它们通常高于将自由度定义为成分数量的朴素方法。此外，我们说明了如何将自由度方法用于比较不同的回归方法。在实验部分，我们表明，我们的自由度估计与信息准则相结合，对于模型选择是有用的。