变分经验贝叶斯多变量回归的梯度优化
统计方法学
2024-11-25 v1 统计计算
机器学习
摘要
变分经验贝叶斯 (VEB) 方法为拟合大规模稀疏多变量回归模型提供了实际吸引力的方法。这些方法通常使用坐标升降法优化变分目标函数，称为坐标升降变分推断 (CAVI)。本文提出了基于梯度法 (准牛顿) 方法的替代优化方案，称为梯度-based 变分推断 (GradVI)。GradVI 利用 Kim 等人 [arXiv:2208.10910] 的最新结果，将 VEB 回归目标函数写作带罚函数的回归问题。然而该罚函数无法以闭式表示形式给出，本文提出并比较了两种处理此问题的方法。在 CAVI 表现良好的简单情形中，我们证明 GradVI 能产生类似的预测性能；且当预测变量高度相关时，GradVI 的收敛迭代次数更少。此外，与 CAVI 不同，GradVI 的关键计算仅为简单矩阵-向量乘法，因此在设计矩阵可实现快速矩阵-向量乘积的情形（如本文所示，趋势滤波应用）中，GradVI 速度显著快于 CAVI，并能轻松实现并行化。GradVI 也非常灵活，可利用自动微分轻松实现不同的先验分布。我们的方法实现于一个开源 Python 软件，GradVI（可从 https://github.com/stephenslab/gradvi 获取）。
引用
@article{arxiv.2411.14570,
title = {Gradient-based optimization for variational empirical Bayes multiple regression},
author = {Saikat Banerjee and Peter Carbonetto and Matthew Stephens},
journal= {arXiv preprint arXiv:2411.14570},
year = {2024}
}