论贝叶斯逻辑回归中柯西先验分布的使用
统计方法学
2017-02-10 v2
摘要
在逻辑回归中，当预测变量的线性组合能够完美分类样本中的部分或全部观测值时，就会发生分离现象，结果是回归系数的有限极大似然估计不存在。Gelman 等人 (2008) 推荐将独立的 Cauchy 分布作为逻辑回归中回归系数的默认先验，即使在分离情况下亦如此，并在其分析中报告了后验众数。由于 Cauchy 先验的均值不存在，一个自然的问题是，在分离情况下回归系数的后验均值是否存在。我们证明了相关定理，为 logit 链接函数及包括 probit 链接在内的一般链接函数族在独立 Cauchy 先验下后验均值的存在性提供了充分必要条件。我们还研究了在多元 Cauchy 先验下后验均值的存在性。对于完全贝叶斯推断，我们开发了一种基于 Polya-Gamma 数据增广的 Gibbs 采样器，用于在包括 Cauchy 先验在内的独立 Student-t 先验下从后验分布中进行采样，并在补充材料中提供了一个配套的 R 包。我们通过实证表明，即使在分离情况下回归系数的后验均值存在，Cauchy 先验下后验样本的量级也可能异常大，且相应的 Gibbs 采样器表现出极其缓慢的混合。虽然诸如 Stan 中的 No-U-Turn Sampler 等替代算法可以极大改善混合，但为了解决分离情况下 Cauchy 先验导致的极重尾后验问题，仍需考虑较轻尾部的先验，例如正态先验或自由度大于一的 Student-t 先验。
引用
@article{arxiv.1507.07170,
title = {On the Use of Cauchy Prior Distributions for Bayesian Logistic Regression},
author = {Joyee Ghosh and Yingbo Li and Robin Mitra},
journal= {arXiv preprint arXiv:1507.07170},
year = {2017}
}