累积学习率适应：重新审视 SGD 和 Adam 的路径基准调度
机器学习
2025-08-08 v1
摘要
学习率是深度学习中的关键超参数，其理想值取决于具体问题且可能在训练过程中发生变化。本文探讨了基于损失景观动态调整步长的自适应学习率机制的实际效用。我们重新审视了2017年提出的累积路径基准适应方案，其根据观察到的路径长度（计算为归一化梯度步长的时间贴现求和）与随机漫步的预期长度之间的差异来调整学习率。尽管该原始方法具有引人入胜的直觉，但我们指出其对 Adam 的适应机制在概念上是不一致的，因为优化器具有内部 Preconditioning。我们提出了一种纠正变体，更好地反映了 Adam 的更新动力学。为评估在线学习率适应的实际价值，我们对 SGD 和 Adam进行基准测试，分别带或不带累积适应，并与最新方法进行比较。我们的结果旨在阐明何时以及为何此类自适应策略具有实际效用。
引用
@article{arxiv.2508.05408,
title = {Cumulative Learning Rate Adaptation: Revisiting Path-Based Schedules for SGD and Adam},
author = {Asma Atamna and Tom Maus and Fabian Kievelitz and Tobias Glasmachers},
journal= {arXiv preprint arXiv:2508.05408},
year = {2025}
}