高维线性模型中的稠密信号、线性估计量与样本外预测
统计理论
2012-03-21 v3 统计理论
摘要
受高维数据分析中稠密(非稀疏)信号问题的启发,我们研究了与高维线性模型中三种常用线性估计量相关的无条件样本外预测误差(预测风险):岭回归估计量、普通最小二乘(OLS)估计量的标量倍数(称为James-Stein收缩估计量)以及边际回归估计量。本文的结果不需要任何稀疏性假设,并表明:(i)如果存在关于总体预测变量协方差的先验信息,则岭估计量优于OLS、James-Stein和边际估计量;(ii)如果对总体预测变量协方差知之甚少,则James-Stein估计量可能是岭估计量的有效替代方案;(iii)边际估计量在样本外预测方面存在严重缺陷。本文研究了这些估计量的有限样本性质和渐近性质。尽管考虑了各种渐近框架,但我们重点关注预测变量数量与观测数量大致成比例的情形。最终,本文的结果为高维线性模型中几种著名的非稀疏方法提供了新的、详细的实用指导。
引用
@article{arxiv.1102.2952,
title = {Dense Signals, Linear Estimators, and Out-of-Sample Prediction for High-Dimensional Linear Models},
author = {Lee Dicker},
journal= {arXiv preprint arXiv:1102.2952},
year = {2012}
}
备注
43 pages, 3 figures