广义线性模型的灵活经验贝叶斯方法及其在稀疏逻辑回归中的应用
机器学习
2026-01-30 v1 机器学习
统计计算
统计方法学
摘要
我们提出一种用于拟合贝叶斯广义线性模型的灵活经验贝叶斯方法。具体而言，我们采用一种新型均场变分推断（VI）方法，并在VI算法中估计先验，使方法无需调参。与传统VI方法优化后验密度函数不同，我们的方法直接优化后验均值和先验参数。该表述减少了需要优化的参数数量，使我们能够使用可扩展算法，如L-BFGS和随机梯度下降。此外，我们的方法自动根据先验和似然确定最优后验，区别于现有VI方法通常假设变分后验为高斯分布的做法。我们的方法代表了一个适用于广泛指数族分布分布的统一框架，无需为每种似然和先验分布的组合开发独特的VI方法。我们将该框架应用于稀疏逻辑回归，并通过大量数值研究表明，我们的方法在预测性能方面优于流行的稀疏逻辑回归方法。
引用
@article{arxiv.2601.21217,
title = {A Flexible Empirical Bayes Approach to Generalized Linear Models, with Applications to Sparse Logistic Regression},
author = {Dongyue Xie and Wanrong Zhu and Matthew Stephens},
journal= {arXiv preprint arXiv:2601.21217},
year = {2026}
}