DISC-FinLLM：基于多专家微调的中文金融大语言模型
计算与语言
2023-10-26 v2
摘要
我们提出多专家微调框架以构建金融大语言模型（LLM）DISC-FinLLM。我们的方法通过赋予通用LLM多轮问答能力、领域文本处理能力、数学计算技能和检索增强生成能力来改进它们。我们构建了一个名为DISC-FIN-SFT的金融指令微调数据集，包含四类指令样本（咨询、NLP任务、计算与检索增强生成）。在多个基准上的评估表明，我们的模型在各种金融场景中表现优于基线模型。更多资源可在 https://github.com/FudanDISC/DISC-FinLLM 获取。
引用
@article{arxiv.2310.15205,
title = {DISC-FinLLM: A Chinese Financial Large Language Model based on Multiple Experts Fine-tuning},
author = {Wei Chen and Qiushi Wang and Zefei Long and Xianyin Zhang and Zhongtian Lu and Bingxuan Li and Siyuan Wang and Jiarong Xu and Xiang Bai and Xuanjing Huang and Zhongyu Wei},
journal= {arXiv preprint arXiv:2310.15205},
year = {2023}
}
备注
18 pages, 13 figures, 7 tables