Bures-Wasserstein 流形上的平均：梯度下降的维数无关收敛
最优化与控制
2023-11-01 v3 机器学习
摘要
我们研究用于计算关于最优传输度量的高斯分布 barycenter（重心）的一阶优化算法。尽管目标函数关于测地距离非凸，黎曼梯度下降（Riemannian GD）经验上收敛迅速，事实上快于现成方法如欧氏 GD 与 SDP 求解器。这与黎曼 GD 最知名的理论结果形成鲜明对比，后者依赖维数的指数。本工作中，我们证明新的测地凸性结果，其对迭代提供更强控制，从而得到维数无关的收敛速率。我们的技术也支持分析两种相关平均概念：熵正则化重心与几何中位数，为黎曼 GD 在这些问题上的收敛提供首个保证。
引用
@article{arxiv.2106.08502,
title = {Averaging on the Bures-Wasserstein manifold: dimension-free convergence of gradient descent},
author = {Jason M. Altschuler and Sinho Chewi and Patrik Gerber and Austin J. Stromme},
journal= {arXiv preprint arXiv:2106.08502},
year = {2023}
}
备注
v3: Fixed error in Theorem 3, see footnote 2