Baichuan4-Finance 技术报告
计算与语言
2025-01-03 v2 人工智能
计算工程、金融与科学
计算机与社会
机器学习
摘要
大语言模型（LLM）在语言理解、生成和推理方面展现出强大的能力，但由于金融知识的复杂性和专业性，其在金融领域的潜力仍未得到充分探索。本文报告了Baichuan4-Finance系列的开发，包括完整的基础模型Baichuan4-Finance-Base和对齐后的语言模型Baichuan4-Finance，这些模型基于Baichuan4-Turbo底层模型构建，专为金融领域定制。首先，我们致力于构建详细的管道以提高数据质量。此外，在持续预训练阶段，我们提出了一种新颖的领域自约束训练策略，使Baichuan4-Finance-Base能够在不损失通用能力的前提下获取金融知识。经过监督式微调和来自人类反馈和AI反馈的强化学习后，聊天模型Baichuan4-Finance能够解决各种金融认证问题和实际场景应用。我们在多个广泛使用的通用数据集和两个全面金融基准上评估了Baichuan4-Finance。评估结果显示，Baichuan4-Finance-Base在金融任务上以显著优势超过几乎所有竞争基线，同时未牺牲通用LLM基准的性能。与此同时，Baichuan4-Finance在金融应用场景中表现出更为惊人的性能，展示了其在金融LLM领域推动社区创新的潜力。
引用
@article{arxiv.2412.15270,
title = {Baichuan4-Finance Technical Report},
author = {Hanyu Zhang and Boyu Qiu and Yuhao Feng and Shuqi Li and Qian Ma and Xiyuan Zhang and Qiang Ju and Dong Yan and Jian Xie},
journal= {arXiv preprint arXiv:2412.15270},
year = {2025}
}