在随机线搜索框架中有效利用动量项以快速优化有限和问题
最优化与控制
2026-03-13 v4 机器学习
摘要
在本工作中，我们处理无约束有限和优化问题，特别关注源自大规模深度学习场景的实例。我们的主要兴趣在于探索过参数化 regime 下随机优化的近期线搜索方法与动量方向之间的关系。首先，我们指出将这两个元素结合并获得计算收益并非直接的。为此，我们提出了一种基于小批量持久性的解决方案。然后，我们引入了一个算法框架，该框架利用数据持久性、共轭梯度类型规则来定义动量参数以及随机线搜索的组合。所得算法在合适假设下可证明具有收敛性质，并在经验上显示出优于文献中其他流行方法，在凸和非凸大规模训练问题中均获得了最先进的结果。
引用
@article{arxiv.2411.07102,
title = {Effectively Leveraging Momentum Terms in Stochastic Line Search Frameworks for Fast Optimization of Finite-Sum Problems},
author = {Matteo Lapucci and Davide Pucci},
journal= {arXiv preprint arXiv:2411.07102},
year = {2026}
}