FinLoRA：使用低秩适配微调量化金融大型语言模型
机器学习
2025-01-22 v2
摘要
微调后的大型语言模型在情感分析和信息检索等金融任务中表现出了卓越的性能。由于隐私问题，在本地微调和部署金融大型语言模型对机构来说至关重要。然而，微调 FinLLMs 面临着 GPU 内存限制和长输入序列等挑战。在本文中，我们采用量化低秩适配（QLoRA）来微调 FinLLMs，该方法利用低秩矩阵分解和量化技术，在保持高模型性能的同时显著降低了计算需求。我们还采用了数据和流水线并行机制，以使用经济实惠且广泛可用的 GPU 实现本地微调。在金融数据集上的实验表明，我们的方法在准确性、GPU 内存使用和时间效率方面取得了显著改善，凸显了低秩方法在可扩展且资源高效的 LLM 微调方面的潜力。
引用
@article{arxiv.2412.11378,
title = {FinLoRA: Finetuning Quantized Financial Large Language Models Using Low-Rank Adaptation},
author = {Dannong Wang and Daniel Kim and Bo Jin and Xingjian Zhao and Tianfan Fu and Steve Yang and Xiao-Yang Liu},
journal= {arXiv preprint arXiv:2412.11378},
year = {2025}
}