在自适应梯度下降中解耦方差与尺度不变更新：用于统一向量与矩阵优化的 DeVA 框架
机器学习
2026-05-28 v2
摘要
像 Adam 这样的自适应方法因其具有二阶性质的坐标级适应性质，已成为大规模向量和欧几里得优化事实上的标准。更近期，基于矩阵的谱优化器如 Muon (Jordan 等，2024b) 显示了将权重矩阵视为矩阵而非长向量的优势。将这些方法联系起来困难，因为许多自然的推广在实现上不可行，我们也不能简单地将 Adam 的适应性迁移到矩阵谱上。为此，我们重新表述 AdaGrad 更新并将其分解为方差适应项和尺度不变项。这种解耦产生了 (coupled ariance daptation)，一种桥接向量级方差适应与矩阵谱优化的框架，使从 Adam 过渡到自适应谱梯度成为无缝过程。广泛的实验在语言建模和图像分类方面表明，DeVA 持续优于诸如 Muon 和 SOAP (Vyas 等，2024) 等最先进的方法，约减少 6.6% 的 token 使用。理论上，我们展示方差适应项实际上改善了块状光滑性，从而促进更快的收敛。我们的实现已在 https://github.com/Tsedao/Decoupled-Variance-Adaptation 上提供。
引用
@article{arxiv.2602.06880,
title = {Decoupling Variance and Scale-Invariant Updates in Adaptive Gradient Descent for Unified Vector and Matrix Optimization},
author = {Zitao Song and Cedar Site Bai and Zhe Zhang and Brian Bullins and David F. Gleich},
journal= {arXiv preprint arXiv:2602.06880},
year = {2026}
}