包络与主成分回归
统计方法学
2022-07-13 v1
摘要
包络方法为各类模型提供了有针对性的降维。其总体目标是通过将数据投影到称为包络的低维子空间上，从而提高多元参数估计的效率。包络方法在分析具有高度相关变量的数据时具有优势，但其迭代的Grassmann流形优化算法在超高维数据上扩展性较差。尽管多元线性回归中包络与偏最小二乘之间的联系促进了包络高维研究的近期进展，我们仍从一种新颖的主成分回归视角提出了一种更直接的包络建模方式。所提出的流程，即非迭代包络成分估计（NIECE），在高维下相较迭代的Grassmann流形优化方案具有卓越的计算优势。我们发展了统一的NIECE理论，弥合了包络方法与回归中主成分之间的鸿沟。新的理论见解还阐明了包络子空间估计误差作为包络建模中使用的两个对称正定矩阵的特征值间隙的函数。我们将新理论与算法应用于若干包络模型，包括多元线性模型中的响应与预测变量降维、逻辑回归以及Cox比例风险模型。模拟与说明性数据分析显示了NIECE显著改进线性和广义线性模型中标准方法的潜力。
引用
@article{arxiv.2207.05574,
title = {Envelopes and principal component regression},
author = {Xin Zhang and Kai Deng and Qing Mai},
journal= {arXiv preprint arXiv:2207.05574},
year = {2022}
}