基于自适应波动率的学习率调度器
机器学习
2025-07-16 v1
摘要
有效的学习率 (LR) 调度对训练深度神经网络至关重要。然而，流行的预定义和自适应调度器仍可能导致次优的泛化。本文引入了 VolSched，这是一种受随机过程中波动性概念（如几何布朗运动）启发的自适应 LR 调度器，动态调整学习率。通过计算长期与短期准确度波动率之间的比率，VolSched 在需要逃离平坦区域时增加学习率，在需要稳定训练时减少学习率，从而使模型能够更有效地探索损失景观。我们使用标准数据增强管道对 VolSched 在 CIFAR-100 数据集上与强基准进行评估。当与 ResNet-18 和 ResNet-34 配合使用时，本调度器实现了一致的性能提升，分别将 top-1 准确率提高了 1.4 和 1.3 个百分点。损失曲线分析表明，VolSched 促进了更长的探索阶段。对 Hessian 的定量分析显示，VolSched 找到的终端解比下一个最佳基准平滑 38%，使模型能够获得更宽的最小值，从而获得更好的泛化性能。
引用
@article{arxiv.2507.10575,
title = {An Adaptive Volatility-based Learning Rate Scheduler},
author = {Kieran Chai Kai Ren},
journal= {arXiv preprint arXiv:2507.10575},
year = {2025}
}