突破低比特优化器的极限：聚焦EMA动力学
机器学习
2025-06-10 v2 人工智能
摘要
模型的快速扩展导致了高昂的训练和微调成本。内存消耗的一个主要因素是广泛使用有状态优化器（例如Adam），这些优化器为了达到最优收敛，需要维护甚至达到模型大小2倍的辅助信息。因此，我们在这项工作中提出了SOLO，以催生一种需要极低内存占用的新型优化器。尽管先前的工作在8比特或4比特情况下取得了一定的成功，但SOLO使Adam风格的优化器能够以低至3比特甚至2比特的精度维护量化状态。这一巨大进展源于识别并解决了两个关键挑战：无符号量化中导致状态动力学不变的信号淹没问题，以及有符号量化中导致错误下降方向的梯度方差增加问题。理论分析建议对前者采用定制的对数量化，对后者采用精度特定的动量超参数。因此，SOLO可以无缝应用于Adam风格的优化器，从而在精度损失极小的情况下大幅节省内存。
引用
@article{arxiv.2505.00347,
title = {Pushing the Limits of Low-Bit Optimizers: A Focus on EMA Dynamics},
author = {Cong Xu and Wenbin Liang and Mo Yu and Anan Liu and Ke-Yue Zhang and Shunli Wang and Lizhuang Ma and Jianyong Wang and Jun Wang and Wei Zhang},
journal= {arXiv preprint arXiv:2505.00347},
year = {2025}
}
备注
27 pages