GAD-PVI: 一种通用的加速动态权重粒子变分推断框架
机器学习
2023-12-29 v1 人工智能
摘要
基于粒子的变分推断(ParVI)方法通过迭代演化有限加权粒子系统来近似目标分布。ParVI方法的最新进展揭示了加速位置更新策略和动态权重调整方法的优势。在本文中，我们提出了第一个同时具备加速位置更新和动态权重调整的ParVI框架，命名为通用加速动态权重粒子变分推断(GAD-PVI)框架。通常，GAD-PVI在一个新颖的信息-费希尔-拉奥(Information-Fisher-Rao)空间上模拟半哈密顿梯度流，从而在局部泛函耗散上获得额外减少。GAD-PVI与三种信息度量下的不同差异泛函及相关平滑方法兼容。在合成数据和真实数据上的实验表明，GAD-PVI方法比现有最先进方法收敛更快且近似误差更小。
引用
@article{arxiv.2312.16429,
title = {GAD-PVI: A General Accelerated Dynamic-Weight Particle-Based Variational Inference Framework},
author = {Fangyikang Wang and Huminhao Zhu and Chao Zhang and Hanbin Zhao and Hui Qian},
journal= {arXiv preprint arXiv:2312.16429},
year = {2023}
}