哈达玛流形上黎曼随机梯度下降的收敛性
最优化与控制
2023-12-14 v1
摘要
本文提出了哈达玛流形上黎曼随机梯度下降（RSGD）的新颖收敛性分析。RSGD 是最基本的黎曼随机优化算法，广泛应用于机器学习领域。该分析结合了深度学习中使用的迷你批次学习概念，并克服了先前分析中的若干问题。针对恒定步长和递减步长，我们描述了四种类型的收敛性分析。结果表明，RSGD 收敛所需的步数是批次大小的凸单调递减函数。在对称正定流形上的黎曼随机优化问题中应用不同批次大小的 RSGD，从理论上表明增加批次大小可以提高 RSGD 的性能。对批次大小与 RSGD 性能关系的数值评估为理论结果提供了支持性证据。
引用
@article{arxiv.2312.07990,
title = {Convergence of Riemannian Stochastic Gradient Descent on Hadamard Manifold},
author = {Hiroyuki Sakai and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2312.07990},
year = {2023}
}
备注
18 pages