逻辑回归及其他回归模型的弱信息默认先验分布
应用统计
2009-01-27 v1
摘要
我们提出了一种适用于经典（非层次）逻辑回归模型的新先验分布，其构造方法是：首先将所有非二元变量缩放至均值为0、标准差为0.5，然后在系数上放置独立的Student-先验分布。作为默认选择，我们推荐中心为0、尺度为2.5的柯西分布，在最简单的情况下，该分布是逻辑回归中假设增加半个成功和半个失败所得到分布的长尾版本。在一组数据集上的交叉验证表明，柯西类先验分布优于现有的高斯和拉普拉斯先验实现。我们推荐将此先验分布作为常规应用中的默认选择。它的优点在于总能给出答案，即使在逻辑回归中存在完全分离（一个常见问题，即使样本量很大且预测变量很少时也会发生），并且能自动对高阶交互项施加更强的收缩。这在常规数据分析以及诸如链式方程缺失数据插补等自动化过程中都很有用。我们通过在R中实现一个程序来拟合带有Student-先验分布的广义线性模型，该程序将近似EM算法融入通常的迭代加权最小二乘法中。我们通过几个应用进行了说明，包括一系列预测投票偏好的逻辑回归、一个小型生物测定实验以及一个公共卫生数据集的插补模型。
引用
@article{arxiv.0901.4011,
title = {A weakly informative default prior distribution for logistic and other regression models},
author = {Andrew Gelman and Aleks Jakulin and Maria Grazia Pittau and Yu-Sung Su},
journal= {arXiv preprint arXiv:0901.4011},
year = {2009}
}
备注
Published in at http://dx.doi.org/10.1214/08-AOAS191 the Annals of Applied Statistics (http://www.imstat.org/aoas/) by the Institute of Mathematical Statistics (http://www.imstat.org)