贝叶斯桥回归的变分推断

我们研究了用于带桥惩罚回归模型贝叶斯推断的自动微分变分推断（ADVI）的实现。桥方法使用 $\ell_{\alpha}$ 范数，其中 $\alpha \in (0, +\infty)$，对回归系数的较大值定义惩罚，其包含 Lasso（$\alpha = 1$）和岭惩罚（$\alpha = 2$）作为特例。全贝叶斯推断可无缝地为所有模型参数提供联合不确定性估计。尽管 MCMC 方法可用于桥回归，但在大型数据集上尤其在高维情况下可能较慢。ADVI 实现允许每次迭代使用小批量数据（基于随机梯度算法），因此与 MCMC 相比加快了计算时间。我们以 B 样条的非参数回归模型为例说明了该方法，尽管该方法对其他基函数选择同样适用。模拟研究展示了所提方法的主要性质。