资源受限条件下大语言模型的全面微调
计算与语言
2024-06-07 v2
摘要
大语言模型（LLMs）已经革新了自然语言处理（NLP），但训练需要大量的 GPU 资源。降低 LLMs 训练的门槛将鼓励研究人员更广泛的参与，造福学术界和社会。虽然现有方法聚焦于参数高效微调，即调优或添加少量参数，但很少有学者解决在资源有限情况下微调 LLMs 全部参数的挑战。在这项工作中，我们提出了一种新优化器，低内存优化（LOw-Memory Optimization，LOMO），它将梯度计算与参数更新融合为一步以减少内存使用。通过将 LOMO 与现有内存节省技术集成，我们将内存使用降低到标准方法（DeepSpeed 方案）的 10.8%。因此，我们的方法能够在单台配备 8 块 RTX 3090（每块 24GB 内存）的机器上对整个 65B 模型进行全参数微调。代码和数据可在 https://github.com/OpenLMLab/LOMO 获取。
引用
@article{arxiv.2306.09782,
title = {Full Parameter Fine-tuning for Large Language Models with Limited Resources},
author = {Kai Lv and Yuqing Yang and Tengxiao Liu and Qinghui Gao and Qipeng Guo and Xipeng Qiu},
journal= {arXiv preprint arXiv:2306.09782},
year = {2024}
}
备注
ACL 2024