基于Bures-Wasserstein空间中JKO的前向后向高斯变分推断
统计理论
2023-04-13 v1 机器学习
最优化与控制
统计理论
摘要
变分推断（VI）旨在用易处理分布族中的一个元素近似目标分布。统计与机器学习中的核心议题是高斯VI，其通过在高斯空间上最小化到的Kullback-Leibler（KL）散度来近似。本工作中，我们提出（随机）前向后向高斯变分推断（FB-GVI）算法求解高斯VI。我们的方法利用KL散度的复合结构，其可写为光滑项（势）与非光滑项（熵）在赋予Wasserstein距离的高斯Bures-Wasserstein（BW）空间上的和。对所提算法，当为对数光滑且对数凹时获得最先进的收敛保证，以及当仅为对数光滑时首次获得至一阶驻点解的收敛保证。
引用
@article{arxiv.2304.05398,
title = {Forward-backward Gaussian variational inference via JKO in the Bures-Wasserstein Space},
author = {Michael Diao and Krishnakumar Balasubramanian and Sinho Chewi and Adil Salim},
journal= {arXiv preprint arXiv:2304.05398},
year = {2023}
}