基于在线子空间下降的内存高效LLM训练
材料科学
2024-12-25 v3
摘要
最近，一系列内存高效的LLM训练算法获得了广泛关注。这些方法利用梯度的低秩结构，将优化器状态投影到使用奇异值分解(SVD)找到的投影矩阵所构成的子空间中。然而，这些算法的收敛性高度依赖于其投影矩阵更新规则。在本工作中，我们提供了针对任意投影矩阵更新规则的首个收敛保证。这一保证通常适用于可使用Hamiltonian Descent进行分析的优化器，包括大多数常见的优化器，如LION、Adam。受我们理论理解的启发，我们提出了Online Subspace Descent，这是一种新的子空间下降优化器，无需使用SVD。与更新投影矩阵的特征向量不同，Online Subspace Descent通过在线PCA来更新投影矩阵。Online Subspace Descent具有灵活性，仅引入最小的训练开销。我们展示了对于在C4数据集上对60M至7B参数的LLaMA模型进行预训练任务，Online Subspace Descent在不同设置下均实现了更低的困惑度和更好的下游任务性能，超过了当前最先进的低秩训练方法，并缩小了与全秩基线之间的差距。
引用
@article{arxiv.2408.12856,
title = {Reentrant polar phase induced by the ferro-ionic coupling in Bi$_{1-x}$Sm$_x$FeO$_3$ nanoparticles},
author = {Anna N. Morozovska and Eugene A. Eliseev and Igor V. Fesych and Yuriy O. Zagorodniy and Oleksandr S. Pylypchuk and Evgenii V. Leonenko and Maxim V. Rallev and Andrii D. Yaremkevych and Lesya P. Yurchenko and Lesya Demchenko and Sergei V. Kalinin and Olena M. Fesenko},
journal= {arXiv preprint arXiv:2408.12856},
year = {2024}
}
备注
53 pages, including 13 figures and 2 Appendixes, Revised version, Resubmitted to Physical Review B