黎曼随机梯度下降的随机修正流
机器学习
2025-03-10 v2 最优化与控制
概率论
机器学习
摘要
我们给出了黎曼随机梯度下降（RSGD）收敛到黎曼梯度流和一个扩散过程（即所谓的黎曼随机修正流，RSMF）的收敛速率的定量估计。利用随机微分几何工具，我们证明在小学习率机制下，RSGD 可以由一个由无限维维纳过程驱动的 RSMF 的解来近似。RSMF 考虑了 RSGD 的随机波动，因此，与确定性的黎曼梯度流相比，提高了近似的阶数。RSGD 是使用收缩映射的概念构建的，即指数映射的一种成本有效的近似，并且我们在对收缩映射、流形几何以及梯度的随机估计量做出假设的条件下，证明了扩散近似弱误差的定量界限。
引用
@article{arxiv.2402.03467,
title = {Stochastic Modified Flows for Riemannian Stochastic Gradient Descent},
author = {Benjamin Gess and Sebastian Kassing and Nimit Rana},
journal= {arXiv preprint arXiv:2402.03467},
year = {2025}
}