FinGPT：面向金融数据集开源大语言模型的指令微调基准
计算与语言
2023-11-14 v2 交易与市场微观结构
摘要
在迅速扩展的自然语言处理（NLP）领域中，基于 GPT 的模型在金融领域的潜力日益显现。然而，这些模型与金融数据集的融合存在挑战，尤其在判定其熟练度与相关性方面。本文引入一种独特的基于指令微调范式的方法，面向开源大语言模型，并特别适配金融语境。通过该方法，我们利用开源模型的可互操作性，确保无缝且透明的集成。我们首先阐释指令微调范式，强调其用于即时集成的有效性。论文提出一种为端到端训练与测试设计的基准方案，采用高性价比的渐进流程。首先，我们评估基本能力及基础任务，如命名实体识别（NER）与情感分析，以增强专业性。接着，我们深入一个综合模型，通过合并所有指令微调来执行多任务操作，以检验通用性。最后，我们通过指定未见任务并引入新数据集来探索零样本能力，以理解在未知领域的适应性。此种范式强化了开放性与可复现性原则，为开源金融大语言模型（FinLLMs）的未来研究奠定坚实基础。
引用
@article{arxiv.2310.04793,
title = {FinGPT: Instruction Tuning Benchmark for Open-Source Large Language Models in Financial Datasets},
author = {Neng Wang and Hongyang Yang and Christina Dan Wang},
journal= {arXiv preprint arXiv:2310.04793},
year = {2023}
}
备注
Workshop on Instruction Tuning and Instruction Following at NeurIPS 2023