PIXIU：面向金融领域的大语言模型、指令数据与评估基准
计算与语言
2023-06-12 v1 人工智能
摘要
尽管大语言模型（LLMs）在金融领域的自然语言处理（NLP）中展现出优异性能，但目前尚无公开可用的金融定制 LLM、指令微调数据集和评估基准，而这对于持续推动金融人工智能（AI）的开源发展至关重要。本文介绍 PIXIU，一个综合框架，包含首个基于指令数据微调 LLaMA 的金融 LLM、首个支持微调的含 136K 数据样本的指令数据，以及一个包含 5 项任务和 9 个数据集的评估基准。我们首先构建了考虑多种金融任务、金融文档类型与金融数据模态的大规模多任务指令数据。随后，我们提出称为 FinMA 的金融 LLM，通过使用所构建的数据集微调 LLaMA 以遵循各类金融任务的指令。为支持金融 LLM 的评估，我们提出一个覆盖一组关键金融任务的标准化基准，包括五项金融 NLP 任务和一项金融预测任务。借助该基准，我们对 FinMA 及若干现有 LLM 进行了详细分析，揭示了它们在处理关键金融任务时的优势与不足。模型、数据集、基准和实验结果均已开源，以促进金融 AI 的未来研究。
引用
@article{arxiv.2306.05443,
title = {PIXIU: A Large Language Model, Instruction Data and Evaluation Benchmark for Finance},
author = {Qianqian Xie and Weiguang Han and Xiao Zhang and Yanzhao Lai and Min Peng and Alejandro Lopez-Lira and Jimin Huang},
journal= {arXiv preprint arXiv:2306.05443},
year = {2023}
}
备注
12 pages, 1 figures