基于随机一阶 oracle 复杂度最小化的随机梯度下降自适应批量尺寸与学习率调度器
机器学习
2025-08-08 v1 最优化与控制
摘要
小批量随机梯度下降（SGD）的收敛行为对批量尺寸和学习率设置高度敏感。最近的理论研究识别出存在一种关键批量尺寸，可最小化随机一阶 oracle（SFO）复杂度，即在深层神经网络中达到平稳点的梯度评估次数的期望值。引入一种自适应调度策略，以加速SGD，该策略利用关于关键批量尺寸的理论发现。根据在训练期间观察到的完整梯度范数衰减，动态调整批量尺寸和学习率。实验采用基于该策略的自适应联合调度器，显示出比现有调度器更快的收敛速度。
引用
@article{arxiv.2508.05302,
title = {Adaptive Batch Size and Learning Rate Scheduler for Stochastic Gradient Descent Based on Minimization of Stochastic First-order Oracle Complexity},
author = {Hikaru Umeda and Hideaki Iiduka},
journal= {arXiv preprint arXiv:2508.05302},
year = {2025}
}