主成分回归的高维渐近分析
统计理论
2025-09-18 v3 统计理论
摘要
我们在高维回归场景下研究主成分回归 (PCR)，即数据点数目与维度数目成正比。我们推导了估计风险和预测风险的精确极限公式，这些公式在本征值、Population PCs 与真实信号之间的对齐方式以及选取的主成分数目方面以复杂方式依赖。高维情境下的关键挑战源于样本协方差是其 Population 对应量的不一致估计量，导致样本主成分可能未能完全捕获数据中潜在的低维结构。我们通过几个案例研究展示了这一点，包括 spikes 协方差模型的情况。为计算渐近预测风险，我们利用随机矩阵理论中的工具——多 resolvent traces 及其相关的特征向量重叠度量——这些工具据我们所知在统计学文献中鲜有使用。
引用
@article{arxiv.2405.11676,
title = {The High-Dimensional Asymptotics of Principal Component Regression},
author = {Alden Green and Elad Romanov},
journal= {arXiv preprint arXiv:2405.11676},
year = {2025}
}