MicroAdam：低空间开销和可证明收敛的精确自适应优化
机器学习
2024-11-06 v2 数值分析
数值分析
摘要
我们提出了一种新的Adam优化器变体，称为MicroAdam，它专门最小化内存开销，同时保持理论收敛保证。我们通过在将梯度信息馈入优化器状态之前对其进行压缩来实现这一点，从而显著减少其内存占用。我们通过分布式优化中经典误差反馈机制的一个新实例来控制由此产生的压缩误差，其中*误差校正信息本身被压缩*以实现实际的内存增益。我们证明了所提出的方法保持了与AMSGrad相当的理论收敛保证，同时提供了良好的实际性能。具体来说，我们展示了MicroAdam可以在GPU上高效实现：在百万规模（BERT）和十亿规模（LLaMA）模型上，MicroAdam提供了与未压缩的Adam基线相当的实际收敛性，同时具有更低的内存使用和相似的运行时间。我们的代码可在https://github.com/IST-DASLab/MicroAdam获取。
引用
@article{arxiv.2405.15593,
title = {MicroAdam: Accurate Adaptive Optimization with Low Space Overhead and Provable Convergence},
author = {Ionut-Vlad Modoranu and Mher Safaryan and Grigory Malinovsky and Eldar Kurtic and Thomas Robert and Peter Richtarik and Dan Alistarh},
journal= {arXiv preprint arXiv:2405.15593},
year = {2024}
}