增强优化器稳定性：NGN步长的动量自适应
机器学习
2025-08-22 v1 最优化与控制
机器学习
摘要
融合了动量和自适应步长的现代优化算法在众多具有挑战性的深度学习任务中提供了改进的性能。然而，它们的有效性通常对超参数的选择高度敏感，尤其是步长。调整这些参数往往困难、资源密集且耗时。因此，近期的努力方向是增强优化器在广泛超参数选择范围内的稳定性 [Schaipp et al., 2024]。在本文中，我们引入了一种算法，该算法通过一种新颖的 NGN 步长方法 [Orvieto and Xiao, 2024] 的自适应，在匹配最先进优化器性能的同时，提高了对步长超参数选择的稳定性。具体来说，我们提出了一个基于动量的版本 (NGN-M)，该版本在更少限制的假设下达到了 的标准收敛速率，无需插值条件或有界随机梯度或迭代的假设，这与先前的方法形成对比。此外，我们通过实验证明，NGN 步长与动量的结合增强了对步长超参数选择的鲁棒性，同时提供了与其他最先进优化器相当或超越它们的性能。
引用
@article{arxiv.2508.15071,
title = {Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size},
author = {Rustem Islamov and Niccolo Ajroldi and Antonio Orvieto and Aurelien Lucchi},
journal= {arXiv preprint arXiv:2508.15071},
year = {2025}
}