基于 Renyi $\alpha$-散度的变分贝叶斯方法用于斑块-槽型高维线性回归
统计方法学
2025-12-02 v1 统计计算
摘要
稀疏高维线性回归是统计学中的核心问题，旨实现变量选择和/或系数估计。我们提出一种针对斑块-槽型拉普拉斯先验的稀疏回归的均场变分贝叶斯近似方法，将标准的 Kullback-Leibler（KL）散度目标替换为 Renyi 散度：一种由 索引的单参数 KL 散度广义，介于零强制行为与覆盖行为之间提供灵活性。我们通过二阶 delta 方法推导坐标升降变分推断（CAVI）更新，并基于蒙特卡洛抽样 Renyi 下界 developing 一种随机变分推断算法。在仿真实验中，我们的两种方法在各种稀疏配置和 值下均与最先进的贝叶斯变量选择程序相当，进行变量选择和估计，数值结果说明不同 值在不同稀疏配置下可能具有优势。
引用
@article{arxiv.2512.00627,
title = {R\'enyi's $\alpha$-divergence variational Bayes for spike-and-slab high-dimensional linear regression},
author = {Chadi Bsila and Yiqi Tang and Kaiwen Wang and Laurie Heyer},
journal= {arXiv preprint arXiv:2512.00627},
year = {2025}
}