具有收敛保证的大语言模型子空间优化
机器学习
2025-06-05 v2 最优化与控制
摘要
子空间优化算法（如 GaLore（Zhao 等，2024））因其内存效率优势在大语言模型（LLM）的预训练和微调中受到关注。然而，其在随机情境下的收敛性仍不明确。本文揭示 GaLore 并非总能收敛至最优解，并给出具体反例。进一步探讨 GaLore 收敛的条件，表明当 (i) 使用足够大的 mini-batch 大小或 (ii) 梯度噪声为各向同性时，GaLore 能实现收敛。更重要的是，本文提出 GoLore（Gradient random Low-rank projection），一种新型 GaLore 变体，在典型随机情境下（即使使用标准 batch 大小）也可保证收敛。我们的收敛分析自然推广至其他子空间优化算法。最终，我们经验性地验证了理论结果并全面测试了所提出机制。代码已公开于 https://github.com/pkumelon/Golore。
引用
@article{arxiv.2410.11289,
title = {Subspace Optimization for Large Language Models with Convergence Guarantees},
author = {Yutong He and Pengrui Li and Yipeng Hu and Chuyan Chen and Kun Yuan},
journal= {arXiv preprint arXiv:2410.11289},
year = {2025}
}
备注
Accepted by ICML 2025