关于最小批量随机梯度下降生成序列的有界性
最优化与控制
2025-07-01 v1 泛函分析
摘要
带有 Polyak 步长的随机梯度下降法 (SGD) 近期因其在随机优化中的应用受到重新关注。最近，Orvieto、Lacoste-Julien 和 Loizou 引入了一种递减式 Polyak 步长，其收敛性依赖于迭代序列的有界性假设。他们在强凸性条件下证明了该假设成立。本文扩展了他们的研究，证明在更广泛的目标函数类（包括 coercive 函数）下，该有界性依然成立。我们还呈现了一个有界性可能或不可能成立的案例。
关键词
引用
@article{arxiv.2506.23303,
title = {On the boundedness of the sequence generated by minibatch stochastic gradient descent},
author = {Heinz H. Bauschke and Tran Thanh Tung},
journal= {arXiv preprint arXiv:2506.23303},
year = {2025}
}