面向金融应用的开放式多模态大语言模型

金融LLM有望推动金融任务和领域特定应用的发展。然而，由于语料库稀缺、多模态能力较弱且评估范围狭窄，使其不太适用于实际应用。为此，我们引入了\textit{Open-FinLLMs}，这是一套首个开源多模态金融LLM，旨在处理文本、表格、时间序列和图表数据的各种任务，在零-shot、few-shot和fine-tuning设置中表现卓越。该套件包括在520亿标记语料上预训练的FinLLaMA；以及使用573K金融指令在FinLLaMA-Instruct上微调的模型；以及针对143万个多模态调优对的FinLLaVA，具备强大的跨模态推理能力。我们全面评估了Open-FinLLMs在14个金融任务、30个数据集和4个多模态任务上的零-shot、few-shot和监督式fine-tuning设置中的性能，引入了两个新的多模态评估数据集。我们的结果表明，Open-FinLLMs在金融NLP、决策和多模态任务方面超过了先进的金融和通用LLM，如GPT-4，凸显了其应用于现实挑战的潜力。为促进跨学科和产业界的创新与合作，我们将所有代码( https://anonymous.4open.science/r/PIXIU2-0D70/B1D7/LICENSE)和模型在OSI批准的许可证下发布。