Alada：面向内存高效矩阵优化的动量交替自适应方法
机器学习
2025-12-16 v1
摘要
本工作提出了 Alada，一种用于大规模矩阵上随机优化的自适应动量方法。Alada 采用秩一分解方法来估计梯度的二阶矩，其中因子交替更新以最小化估计误差。Alada 实现了亚线性内存开销，并且可以容易地扩展到张量形状变量的优化。我们还为 Alada 配备了一阶矩估计规则，在不产生额外内存开销的情况下增强了算法的鲁棒性。Alada 的理论性能与 Adam 等传统方法一致。在多个自然语言处理任务上进行的数值研究表明，与 Adam 及其变体相比，该方法减少了内存开销并在训练大型模型时表现出鲁棒性。
引用
@article{arxiv.2512.13034,
title = {Alada: Alternating Adaptation of Momentum Method for Memory-Efficient Matrix Optimization},
author = {Xiaoyu He and Yu Cai and Jin Jia and Canxi Huang and Wenqing Chen and Zibin Zheng},
journal= {arXiv preprint arXiv:2512.13034},
year = {2025}
}