Wasserstein 概率空间上的连续时间黎曼 SGD 与 SVRG 流
机器学习
2025-11-05 v4
摘要
近年来，黎曼流形上的优化为优化领域提供了宝贵的见解。在这方面，将这些方法扩展到 Wasserstein 空间具有特殊的意义，因为 Wasserstein 空间上的优化与实际采样过程密切相关。通常，Wasserstein 空间上的标准（连续）优化方法是黎曼梯度流（即最小化 KL 散度时的 Langevin 动力学）。在本文中，我们旨在通过将 Wasserstein 空间上的梯度流扩展为随机梯度下降（SGD）流和随机方差缩减梯度（SVRG）流，来丰富 Wasserstein 空间中连续优化方法族。通过利用 Wasserstein 空间的性质，我们构建了随机微分方程（SDEs）来近似所需黎曼随机方法对应的离散欧几里得动力学。然后，我们通过 Fokker-Planck 方程获得了 Wasserstein 空间中的流。最后，我们建立了所提出的随机流的收敛速率，这些速率与欧几里得设置中已知的速率一致。
引用
@article{arxiv.2401.13530,
title = {Continuous-time Riemannian SGD and SVRG Flows on Wasserstein Probabilistic Space},
author = {Mingyang Yi and Bohan Wang},
journal= {arXiv preprint arXiv:2401.13530},
year = {2025}
}