极端稀疏性下的大语言模型零阶微调
机器学习
2024-06-06 v1 人工智能
摘要
零阶优化（ZO）是一种仅使用前向传播来微调大型语言模型的内存高效策略。然而，在内存受限的环境（如手机和笔记本电脑）中应用ZO微调仍然具有挑战性，因为全精度前向传播不可行。在本研究中，我们通过将稀疏性和量化集成到LLM的ZO微调中来解决这一限制。具体而言，我们研究了使用ZO微调LLM参数中极小一部分子集的可行性。这种方法允许将大部分未微调的参数进行量化，以适应有限设备内存的约束。我们的发现表明，预训练过程可以识别出一组“敏感参数”，这些参数可以指导LLM在下游任务上的ZO微调。我们的结果表明，使用ZO微调LLM中0.1%的敏感参数可以超越完全ZO微调的性能，同时提供实际时间的加速。此外，我们展示了针对这0.1%敏感参数的ZO微调，结合4比特量化，可以在内存小于8 GiB的GPU设备上实现对Llama2-7B模型的高效ZO微调，并显著降低延迟。
引用
@article{arxiv.2406.02913,
title = {Zeroth-Order Fine-Tuning of LLMs with Extreme Sparsity},
author = {Wentao Guo and Jikai Long and Yimeng Zeng and Zirui Liu and Xinyu Yang and Yide Ran and Jacob R. Gardner and Osbert Bastani and Christopher De Sa and Xiaodong Yu and Beidi Chen and Zhaozhuo Xu},
journal= {arXiv preprint arXiv:2406.02913},
year = {2024}
}