基于Lyapunov函数的SGDM加速分析：学习率与批量大小调度
机器学习
2025-10-13 v2
摘要
我们通过引入一种新型且更简单的Lyapunov函数来分析随机梯度下降带动量（SGDM）在动态学习率和批量大小调度下的收敛行为。我们将现有的理论框架扩展至涵盖深度学习中常用的三种实际调度策略：（1）固定批量大小配合衰减学习率；（2）递增批量大小配合衰减学习率；（3）递增批量大小配合递增学习率。我们的结果揭示了一种明确的收敛等级：固定批量大小无法保证预期梯度范数的收敛，而递增批量大小能够实现收敛，同时递增学习率和批量大小可实现可证明的更快衰减。实验结果验证了我们的理论，表明动态调度的SGDM在收敛速度上显著优于其固定超参数版本。我们还评估了热身（warm-up）调度在实验中的表现，结果显示其在收敛行为方面优于所有其他策略。
关键词
引用
@article{arxiv.2508.03105,
title = {Accelerating SGDM via Learning Rate and Batch Size Schedules: A Lyapunov-Based Analysis},
author = {Yuichi Kondo and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2508.03105},
year = {2025}
}