InvestLM：通过金融领域指令微调用于投资的大语言模型
综合金融
2023-09-27 v1 人工智能
计算与语言
机器学习
摘要
我们提出一个新的金融领域大语言模型InvestLM，其在LLaMA-65B（Touvron等人，2023）上，使用精心整理的与金融投资相关的指令数据集进行微调。受“少即是多对齐”（Zhou等人，2023）启发，我们人工整理了一个小而多样的指令数据集，涵盖广泛的金融相关主题，从特许金融分析师（CFA）考题到SEC文件再到Stackexchange量化金融讨论。InvestLM在理解金融文本方面展现出强大能力，并对投资相关问题提供有帮助的回答。包括对冲基金经理与研究分析师在内的金融专家，将InvestLM的回答评为可与最先进的商业模型（GPT-3.5、GPT-4与Claude-2）相媲美。在一组金融NLP基准上的零样本评估展示了强大的泛化性。从研究视角看，本工作表明，在训练良好的基础模型上，可使用一小套精心整理的指令微调出高质量的领域特定LLM，这与表面对齐假说（Zhou等人，2023）一致。从实践视角看，本工作开发了一个最先进的金融领域LLM，其在理解金融文本与提供有帮助的投资建议方面具有优越能力，有望提升金融从业者的工作效率。我们向研究社区发布模型参数。
引用
@article{arxiv.2309.13064,
title = {InvestLM: A Large Language Model for Investment using Financial Domain Instruction Tuning},
author = {Yi Yang and Yixuan Tang and Kar Yan Tam},
journal= {arXiv preprint arXiv:2309.13064},
year = {2023}
}
备注
Link: https://github.com/AbaciNLP/InvestLM