基于 Bures-Wasserstein 流形的随机方差缩减高斯变分推断
机器学习
2025-03-03 v2 机器学习
摘要
Bures-Wasserstein 空间中的优化方法近年来在机器学习领域受到广泛关注，因为它将变分推断与 Wasserstein 梯度流联系起来。变分推断目标函数的克尔默尔-齐丁克散度可写为负熵与势能之和，因此前向-后向欧拉方法是首选方法。值得注意的是，在这种情况下，后向步骤具有闭式解，便于实际应用。然而，前向步骤并不精确，因为势能的 Bures-Wasserstein 梯度涉及“难以计算”的期望。最近的做法采用蒙特卡洛方法——实际上使用单样本估计器——来近似这些术语，导致方差较大且性能不佳。我们提出一种基于控制变量原理的新型方差缩减估计器。我们理论地证明了在感兴趣的场景中，这一估计器的方差小于蒙特卡洛估计器。我们还证明了方差缩减有助于提高当前分析的优化界限。我们演示了该估计器在之前的 Bures-Wasserstein 方法上实现了数量级的改进。
引用
@article{arxiv.2410.02490,
title = {Stochastic variance-reduced Gaussian variational inference on the Bures-Wasserstein manifold},
author = {Hoang Phuc Hau Luu and Hanlin Yu and Bernardo Williams and Marcelo Hartmann and Arto Klami},
journal= {arXiv preprint arXiv:2410.02490},
year = {2025}
}