线性回归中的 SignSGD 比例律：何时优于 SGD？
机器学习
2026-03-03 v1 人工智能
最优化与控制
机器学习
摘要
我们研究了在幂律随机特征（PLRF）模型下的 signSGD 比例律，该模型考虑特征衰减和目标衰减的影响。我们分析了在高斯抽样特征上使用单遍 signSGD 训练的线性模型的population risk。我们将风险表示为模型规模、训练步数、学习率以及特征和目标衰减参数的函数。与 Paquette 等人（2024）分析的 SGD 风险比较，我们识别出 signSGD 特有的漂移-归一化效应和噪声-重塑效应。随后我们在最优学习率选择下获得计算最优比例律。我们的分析表明，噪声-重塑效应可以在噪声主导的区间内使 signSGD 的计算最优斜率大于 SGD。最后我们观察到，广泛使用的热身-稳定-衰减（WSD）计划进一步降低噪声项并锐化计算最优斜率，当特征衰减快但目标衰减慢时尤其如此。
引用
@article{arxiv.2603.02069,
title = {Scaling Laws of SignSGD in Linear Regression: When Does It Outperform SGD?},
author = {Jihwan Kim and Dogyoon Song and Chulhee Yun},
journal= {arXiv preprint arXiv:2603.02069},
year = {2026}
}
备注
Accepted at ICLR 2026, 89 pages, 25 figures