随机条件梯度法中批量大小的作用
机器学习
2026-03-24 v1 最优化与控制
机器学习
摘要
我们在 -Kurdyka-{\L}ojasiewicz (-KL) 条件下研究批量大小在随机条件梯度法中的作用。聚焦于基于动量的随机条件梯度算法(如Scion)，我们推导一种新分析，显式捕获步长、批量大小与随机噪声之间的相互作用。我们的研究揭示了模式依赖的行为：增加批量大小初始可改善优化精度，但在临界阈值之后，优势会饱和并可能在固定 token 预算下导致性能下降。值得注意的是，理论预测了最优步长的大小，并与大规模训练中观察到的实践相吻合。基于这些见解，我们推导原则性指南，用于选择批量大小和步长，并提出一种在训练期间增加批量大小和序列长度的自适应策略，同时保持收敛保证。NanoGPT上的实验与理论预测一致，说明了预测scaling regime 的出现。总体而言，我们的结果提供了一种理解随机条件梯度法中批量大小扩展的理论框架，并为设计高效训练计划提供指导。
引用
@article{arxiv.2603.21191,
title = {On the Role of Batch Size in Stochastic Conditional Gradient Methods},
author = {Rustem Islamov and Roman Machacek and Aurelien Lucchi and Antonio Silveti-Falls and Eduard Gorbunov and Volkan Cevher},
journal= {arXiv preprint arXiv:2603.21191},
year = {2026}
}