打破冻结子空间：LLM预训练中低秩优化的重要抽样
机器学习
2025-12-15 v3
摘要
低秩优化已成为一种引人注目的做法，用于实现大型语言模型（LLM）的内存高效训练。现有的低秩优化方法通常将梯度投影到低秩子空间，从而降低存储优化器状态的内存成本。在这些方法中，选择合适子空间以确保有效优化轨迹是一个关键挑战。大多数现有方法选择占主导地位的子空间以保留梯度信息，因为这直观上提供了最佳近似。然而，我们发现实际情况下，占主导地位的子空间在预训练期间停止变化，从而将权重更新限制在类似的子空间中。本文提出了一种用于LLM预训练的低秩优化重要抽样方法，具有可证明的收敛保证，而主导子空间方法没有这样的保证。实验结果表明，我们的方法在LLM预训练任务中显著优于先前方法。
引用
@article{arxiv.2502.05790,
title = {Breaking the Frozen Subspace: Importance Sampling for Low-Rank Optimization in LLM Pretraining},
author = {Haochen Zhang and Junze Yin and Guanchu Wang and Zirui Liu and Lin F. Yang and Tianyi Zhang and Anshumali Shrivastava and Vladimir Braverman},
journal= {arXiv preprint arXiv:2502.05790},
year = {2025}
}
备注
NeurIPS 2025