勿须单调：在过参数化模型中放宽随机线搜索
最优化与控制
2023-10-26 v2 机器学习
摘要
近期研究表明，线搜索方法可在现代过参数化设定下加速随机梯度下降（SGD）与 Adam。然而，现有线搜索可能采取小于必要的步长，因为它们要求（小）批量目标函数单调下降。我们探索非单调线搜索方法以放宽该条件并可能接受更大的步长。尽管缺乏单调下降，我们证明了与单调情形相同的快速收敛速率。我们的实验表明，非单调方法提升了 SGD/Adam 的收敛速度与泛化性能，甚至超越此前的单调线搜索。我们提出了 POlyak 非单调随机（PoNoS）方法，通过将非单调线搜索与 Polyak 初始步长相结合获得。此外，我们开发了一种新的重置技术，在绝大多数迭代中将回溯次数降为零，同时仍保持较大的初始步长。据我们所知，首次运行时间比较表明，基于线搜索方法的逐轮优势反映在了总体计算时间上。
引用
@article{arxiv.2306.12747,
title = {Don't be so Monotone: Relaxing Stochastic Line Search in Over-Parameterized Models},
author = {Leonardo Galli and Holger Rauhut and Mark Schmidt},
journal= {arXiv preprint arXiv:2306.12747},
year = {2023}
}