各向同性高斯混合的变分推断
机器学习
2025-11-18 v2 机器学习
摘要
变分推断（VI）是一种流行的贝叶斯推断方法，它在参数族中寻找对后验分布的最佳近似，通过最小化损失（通常是逆向 KL 散度）来实现。在本文中，我们关注以下参数族：各向同性高斯混合（即协方差矩阵为与单位矩阵成比例的对角矩阵）和均匀权重。我们开发了一个变分框架，并为此族提供了高效算法。与具有通用协方差矩阵的高斯混合相比，这一选择在准确近似多模态贝叶斯后验与内存和计算效率之间取得了平衡。我们的算法在高斯混合成分的位置（高斯模式的均值）上实现梯度下降，并在其方差参数上实现（熵）镜像下降或 Bures 下降。我们通过数值实验展示了算法的性能。
引用
@article{arxiv.2506.13613,
title = {Variational Inference with Mixtures of Isotropic Gaussians},
author = {Marguerite Petit-Talamon and Marc Lambert and Anna Korba},
journal= {arXiv preprint arXiv:2506.13613},
year = {2025}
}