解耦权重衰减的修正
机器学习
2026-04-15 v3
摘要
解耦权重衰减，作为AdamW优于Adam的唯一性能优势来源，长期以来被设定为与学习率γ成正比而未受质疑。一些研究者最近挑战了这一假设，并根据稳态下的正交性论证认为解耦权重衰减应设为∝γ²。相反，我们发现消除更新中垂直于权重范数的分量贡献对训练动力学几乎没有改变。相反，我们推导出基于简单假设——在稳态下更新独立于权重（无论优化器的性质如何）——解耦权重衰减∝γ²会导致稳定的权重范数。基于相同假设，我们推导并经验验证了Scion优化器下小批量的总更新贡献(TUC)更好地由动量依赖的有效学习率来刻画，其最优值可迁移，并证明解耦权重衰减∝γ²导致稳定的权重和梯度范数，使我们能够更好地控制训练动力学并改善模型性能。
引用
@article{arxiv.2512.08217,
title = {Correction of Decoupled Weight Decay},
author = {Jason Chuan-Chih Chou},
journal= {arXiv preprint arXiv:2512.08217},
year = {2026}
}
备注
v3 improves derivation and adds the Nesterov momentum case & numerical simulations for Scion-like updates