基于邻域图拉普拉斯特征映射在 Sobolev 空间上的极小极大最优回归

本文研究基于拉普拉斯特征映射（LE）的主成分回归（PCR-LE）的统计性质，这是一种用于非参数回归的方法。PCR-LE 通过将观测响应向量 {\bf Y} = (Y_1,…,Y_n) 投影到由邻域图拉普拉斯算子的某些特征向量张成的子空间来工作。我们证明 PCR-LE 在 Sobolev 空间上的随机设计回归中达到极小极大收敛速率。在设计密度 p 的充分光滑性条件下，PCR-LE 在估计（已知平方 L^2 范数下的最优速率为 n^{-2s/(2s + d)}）与拟合优度检验（n^{-4s/(4s + d)}）上均达到最优速率。我们还证明 PCR-LE 是流形自适应的：即我们考虑设计支撑于小内蕴维数 m 的流形上的情形，并给出上界证明 PCR-LE 达到更快的极小极大估计（n^{-2s/(2s + m)}）与检验（n^{-4s/(4s + m)}）收敛速率。有趣的是，这些速率几乎总是远快于图拉普拉斯特征向量收敛到其总体极限的已知速率；换言之，从统计角度看，该问题中利用估计特征进行回归似乎比估计特征本身容易得多。我们以经验证据支撑这些理论结果。