变分参数空间上的 Wasserstein 梯度流用于变分推断
机器学习
2025-04-24 v5 机器学习
摘要
变分推断（VI）可视为一个优化问题，其中调整变分参数以使变分分布与真实后验紧密对齐。该优化任务可通过黑盒 VI 中的普通梯度下降或自然梯度 VI 中的自然梯度下降来解决。在本工作中，我们将 VI 重新表述为关于定义在变分参数空间上的概率分布的目标函数的优化。随后，我们提出用 Wasserstein 梯度下降来解决该优化问题。值得注意的是，黑盒 VI 与自然梯度 VI 这些优化技术可重新解释为所提 Wasserstein 梯度下降的特定实例。为提升优化效率，我们开发了用于数值求解离散梯度流的实用方法。我们通过在合成数据集上的实证实验并结合理论分析，验证了所提方法的有效性。
引用
@article{arxiv.2310.16705,
title = {Wasserstein Gradient Flow over Variational Parameter Space for Variational Inference},
author = {Dai Hai Nguyen and Tetsuya Sakurai and Hiroshi Mamitsuka},
journal= {arXiv preprint arXiv:2310.16705},
year = {2025}
}
备注
Accepted to AISTATS 2025