基于非欧几里得梯度噪声尺度的随机符号与谱下降自适应批大小
机器学习
2026-02-04 v1 人工智能
摘要
为最大化硬件利用率，现代机器学习系统通常采用大的恒定批大小或手动调整的批大小调度，依赖于脆弱且调优成本高昂的启发式方法。基于梯度噪声尺度（GNS）的现有自适应策略提供了一种有原则的替代方案。然而，它们对SGD欧几里得几何的假设与基于广义范数的流行优化器（如signSGD/Signum（ℓ∞）和随机谱下降（specSGD）/Muon（S∞））存在根本性不匹配。在这项工作中，我们推导了signSGD和specSGD的梯度噪声尺度，这些尺度自然地从它们各自对偶范数的几何中产生。为实际估计这些非欧几里得度量，我们提出了一种高效的方差估计过程，该过程利用分布式数据并行系统中不同rank上的局部小批量梯度。我们的实验表明，使用非欧几里得GNS的自适应批大小策略能够匹配恒定批大小基线的验证损失，同时在1.6亿参数的Llama模型上，将Signum和Muon的训练步数最多减少66%。
引用
@article{arxiv.2602.03001,
title = {Adaptive Batch Sizes Using Non-Euclidean Gradient Noise Scales for Stochastic Sign and Spectral Descent},
author = {Hiroki Naganuma and Shagun Gupta and Youssef Briki and Ioannis Mitliagkas and Irina Rish and Parameswaran Raman and Hao-Jun Michael Shi},
journal= {arXiv preprint arXiv:2602.03001},
year = {2026}
}
备注
8 pages, 2 figures, 4 tables