SNFinLLM：中文大型语言模型的系统化金融领域适配
计算与语言
2024-08-06 v1
摘要
大型语言模型（LLM）已成为推动自然语言处理在金融行业应用的强大工具。然而，现有的金融 LLM 常面临幻觉或浅层参数训练等挑战，导致在金融计算和机器阅读理解（MRC）等任务上性能不佳。为解决此问题，我们提出一种专为中文金融领域设计的新型大型语言模型，命名为 SNFinLLM。SNFinLLM 在诸如问答、金融研究报告摘要、情感分析和金融计算等领域-specific 任务中表现出色。随后，我们进行监督式微调（SFT）以提升模型在各金融领域的熟练程度。具体而言，我们收集大量金融数据，构建由金融新闻文章、专业论文和研究报告组成的高质量指令数据集。利用面向域-specific 和通用数据集，我们在既有的开源基础模型上进行持续预训练，得到 SNFinLLM-base。随后，我们进行监督式微调（SFT）以强化模型在多个金融任务中的能力。关键的是，我们采用一种简单直接的方法——直接偏好优化（DPO）来更好地与人类偏好相匹配。在金融基准测试和我们评估数据集上的大量实验表明，SNFinLLM 在其他 state-of-the-art 金融语言模型方面显著优于它们。欲了解更多详情，请参阅我们的演示视频：https://www.youtube.com/watch?v=GYT-65HZwus。
引用
@article{arxiv.2408.02302,
title = {SNFinLLM: Systematic and Nuanced Financial Domain Adaptation of Chinese Large Language Models},
author = {Shujuan Zhao and Lingfeng Qiao and Kangyang Luo and Qian-Wen Zhang and Junru Lu and Di Yin},
journal= {arXiv preprint arXiv:2408.02302},
year = {2024}
}