HyperbolicLR：对训练轮数不敏感的学习率调度器

本研究提出了两种新颖的学习率调度器——双曲学习率调度器（HyperbolicLR）和指数双曲学习率调度器（ExpHyperbolicLR）——以解决传统方法中常导致学习曲线不一致的训练轮数敏感问题。通过利用双曲曲线的渐近行为，所提出的调度器能在不同的训练轮数设置下保持更稳定的学习曲线。具体而言，HyperbolicLR 直接在训练轮数-学习率空间中应用此特性，而 ExpHyperbolicLR 则将其扩展到指数空间。我们首先在少量训练轮数上确定每个调度器的最优超参数，固定这些超参数，然后随着训练轮数增加评估性能。在各种深度学习任务（例如图像分类、时间序列预测和算子学习）上的实验结果表明，随着训练时长的增加，HyperbolicLR 和 ExpHyperbolicLR 均比传统调度器取得了更一致的性能提升。这些发现表明，我们基于双曲函数的调度器为深度网络优化提供了一种更稳健、更高效的方法，尤其是在计算资源或时间受限的场景中。