增广消息传递 Stein 变分梯度下降
机器学习
2023-05-19 v1 机器学习
摘要
Stein 变分梯度下降（SVGD）是一种流行的基于粒子的贝叶斯推断方法。然而，其收敛受到方差坍缩的影响，降低了估计的准确性和多样性。在本文中，我们研究了有限粒子在收敛过程中的各向同性性质，并表明有限粒子的 SVGD 无法遍布整个样本空间。相反，所有粒子倾向于在一定范围内聚集在粒子中心附近，我们给出了该聚类的解析界。为了进一步提高 SVGD 在高维问题中的有效性，我们提出了增广消息传递 SVGD（AUMP-SVGD）方法，这是一种两阶段优化过程，与 MP-SVGD 方法不同，它不需要目标分布的稀疏性。我们的算法在各种基准问题中达到了令人满意的精度并克服了方差坍缩问题。
引用
@article{arxiv.2305.10636,
title = {Augmented Message Passing Stein Variational Gradient Descent},
author = {Jiankui Zhou and Yue Qiu},
journal= {arXiv preprint arXiv:2305.10636},
year = {2023}
}