超额: 在动量式随机优化中利用未来梯度
机器学习
2025-01-17 v1
摘要
超额是一种新型的动量式随机梯度下降优化方法，旨在超越标准动量和Nesterov动量的性能。在常规动量方法中，上一阶段的梯度会在步进并更新模型之前与当前模型权重处的梯度进行聚合。与此不同，超额并非计算当前模型权重处的梯度，而是计算在当前动量方向偏移后的模型权重处的梯度。这以牺牲使用当前确切模型权重梯度的即时收益为代价，换取在更可能对未来更新具有更大相关性的点上进行评估。我们展示，将这一原理引入动量式优化器（包括带动量的SGD和Adam）后，能够实现更快的收敛速度（平均至少节省15%的步数）。超额在广泛的任务范围内始终优于标准动量和Nesterov动量，并可以零额外内存和较小的计算开销集成到流行的动量式优化器中。
引用
@article{arxiv.2501.09556,
title = {Overshoot: Taking advantage of future gradients in momentum-based stochastic optimization},
author = {Jakub Kopal and Michal Gregor and Santiago de Leon-Martinez and Jakub Simko},
journal= {arXiv preprint arXiv:2501.09556},
year = {2025}
}