基于稀疏先验的高维线性回归变分贝叶斯方法
统计方法学
2020-11-20 v3 统计理论
机器学习
统计理论
摘要
我们研究了稀疏高维线性回归中贝叶斯模型选择先验的均值场尖峰- slab 变分贝叶斯(VB)近似。在设计矩阵的相容性条件下,导出了均值场 VB 近似的 oracle 不等式,意味着它以最优速率收敛到稀疏真值,并对响应向量给出最优预测。我们研究了算法的实证性能,表明其与其他最先进的贝叶斯变量选择方法表现相当。我们还通过数值实验证明,广泛使用的坐标上升变分推断(CAVI)算法可能对参数更新顺序高度敏感,导致潜在的较差性能。为缓解此问题,我们提出了一种新颖的优先更新方案,该方案使用数据驱动的更新顺序,并在模拟中表现更优。该变分算法已在 R 包 'sparsevb' 中实现。
引用
@article{arxiv.1904.07150,
title = {Variational Bayes for high-dimensional linear regression with sparse priors},
author = {Kolyan Ray and Botond Szabo},
journal= {arXiv preprint arXiv:1904.07150},
year = {2020}
}
备注
42 pages. To appear in Journal of the American Statistical Association