BloombergGPT：面向金融的大语言模型
机器学习
2023-12-22 v3 人工智能
计算与语言
综合金融
摘要
自然语言处理（NLP）在金融技术领域中的应用广泛而复杂，涵盖从情感分析、命名实体识别到问答等任务。大语言模型（LLM）已被证明在多种任务上有效；然而，文献中尚未有专门针对金融领域的 LLM 报道。在本工作中，我们提出 BloombergGPT，一个在广泛金融数据上训练的 500 亿参数语言模型。我们基于 Bloomberg 的丰富数据源构建了一个 3630 亿 token 的数据集（或许是迄今最大的领域特定数据集），并使用来自通用目的数据集的 3450 亿 token 进行增强。我们在标准 LLM 基准、开放金融基准以及最准确反映我们预期用途的一套内部基准上验证了 BloombergGPT。我们的混合数据集训练产生了一个在金融任务上以显著优势超越现有模型、且不牺牲通用 LLM 基准性能的模型。此外，我们解释了我们的建模选择、训练过程与评估方法。我们发布了 Training Chronicles（附录 C），详述训练 BloombergGPT 的经验。
引用
@article{arxiv.2303.17564,
title = {BloombergGPT: A Large Language Model for Finance},
author = {Shijie Wu and Ozan Irsoy and Steven Lu and Vadim Dabravolski and Mark Dredze and Sebastian Gehrmann and Prabhanjan Kambadur and David Rosenberg and Gideon Mann},
journal= {arXiv preprint arXiv:2303.17564},
year = {2023}
}
备注
Updated to include Training Chronicles (Appendix C)