大数据岭回归与广义岭回归中岭参数的快速边际似然估计
统计方法学
2015-06-25 v5
摘要
与线性模型的普通最小二乘 (OLS) 估计量不同，岭回归线性模型通过收缩提供系数估计，通常能改善均方误差和预测误差。当观测设计矩阵病态或奇异时（无论是由于高度相关的协变量还是协变量数量超过样本量所致），这一点尤为正确。本文介绍了用于估计贝叶斯岭回归和幂岭回归模型收缩参数的新颖且快速的边际最大似然 (MML) 算法，以及用于贝叶斯广义岭回归模型的自动插件 MML 估计量。借助观测协变量设计矩阵的奇异值分解，这些 MML 估计方法即使在样本量 (n) 或协变量数量 (p) 非常大，甚至 p>n 的数据集上也非常快速。在多个 n 和 p 变化广泛的真实数据集上，我们将三种岭模型的 MML 估计方法的计算时间与其他基于交叉验证或信息准则最小化预测误差的岭、LASSO 和弹性网络 (EN) 模型收缩参数估计方法进行了比较。此外，还比较了岭、LASSO 和 EN 模型及其相关估计方法的预测精度。进一步地，一项模拟研究比较了 MML 估计下的岭模型与 LASSO 和 EN 模型在区分真正显著的协变量（即具有非零斜率系数）与真正不显著的协变量（具有零系数）方面的能力。
引用
@article{arxiv.1409.2437,
title = {Fast Marginal Likelihood Estimation of the Ridge Parameter(s) in Ridge Regression and Generalized Ridge Regression for Big Data},
author = {George Karabatsos},
journal= {arXiv preprint arXiv:1409.2437},
year = {2015}
}