一种面向多元线性回归的灵活经验贝叶斯方法及其与惩罚回归的联系
统计方法学
2024-06-13 v3 机器学习
摘要
我们引入一种用于大规模多元线性回归的新经验贝叶斯方法。我们的方法结合了两个关键思想：(i) 使用灵活的“自适应收缩”先验，其通过有限正态混合分布近似尺度混合正态分布的非参数族；以及 (ii) 使用变分近似来高效估计先验超参数并计算近似后验。结合这两个思想产生了快速且灵活的方法，其计算速度与 Lasso 等快速惩罚回归方法相当，并在广泛场景中具有具竞争力的预测精度。此外，我们提供新的结果以建立经验贝叶斯方法与惩罚方法之间的概念联系。具体而言，我们展示我们方法的后验均值解决了一个惩罚回归问题，其中惩罚函数的形式通过直接求解优化问题从数据中学习（而非通过交叉验证调参）。我们的方法在 R 包 mr.ash.alpha 中实现，可从 https://github.com/stephenslab/mr.ash.alpha 获取。
引用
@article{arxiv.2208.10910,
title = {A flexible empirical Bayes approach to multiple linear regression and connections with penalized regression},
author = {Youngseok Kim and Wei Wang and Peter Carbonetto and Matthew Stephens},
journal= {arXiv preprint arXiv:2208.10910},
year = {2024}
}