固定方差高斯混合变分推断的理论保证
机器学习
2024-06-11 v2 机器学习
摘要
变分推断（VI）是贝叶斯推断中一种流行的方法，它在参数族中寻找后验分布的最佳近似，最小化通常为（反向）Kullback-Leibler（KL）散度的损失函数。尽管经验上成功，VI的理论性质直到最近才受到关注，且大多在参数族为高斯族的情形下。本文旨在研究非高斯情形下VI的理论，具体考察固定协方差和常权重的混合高斯模型。在此视角下，该特定族上的VI可视为最小化一个光滑相对熵，即一个支撑在Dirac上的原子测度与目标分布（关于高斯核）卷积之间的KL散度。原子测度的支撑对应高斯分量的位置。因此，求解变分推断等价于优化Dirac（粒子）的位置，这可通过梯度下降实现，并形成一个交互粒子系统。我们研究了在此背景下优化光滑相对熵时VI的两个误差来源。第一个是优化结果，即一个下降引理，表明算法在每次迭代中降低目标函数。第二个是近似误差，给出了最优有限混合与目标分布之间目标函数的上界。
引用
@article{arxiv.2406.04012,
title = {Theoretical Guarantees for Variational Inference with Fixed-Variance Mixture of Gaussians},
author = {Tom Huix and Anna Korba and Alain Durmus and Eric Moulines},
journal= {arXiv preprint arXiv:2406.04012},
year = {2024}
}