面向金融文本分类的指令微调 LLM 的比较分析
计算与语言
2024-11-06 v1 人工智能
摘要
大型语言模型 (LLM) 在 diverse Natural Language Processing (NLP) 任务中展现出惊人的能力, 包括语言理解、推理和生成. 然而, 通用领域的 LLM 常因金融文本的技术性和专业性而在金融任务上表现不佳. 本研究考察了对较小规模的 LLM (包括 Mistral-7B、Llama3-8B 和 Phi3-mini)进行指令微调以增强其在金融文本分类任务中的性能的效果. 我们对指令微调模型和基础模型在四个金融分类任务上进行微调, 实现了在特定任务上的显著性能提升. 此外, 我们评估了这些微调模型在三个未见复杂金融任务上的零样本能力, 包括论证分类、交易完整性分类和因果分类. 我们的结果表明, 虽然基础模型微调导致性能较大下降, 指令微调模型保持了更稳健的性能. 为消除这种下降, 我们采用模型合并技术, 将单任务领域特定微调模型与基础模型集成. 使用此合并方法可在零样本性能上实现显著提升, 甚至在某些数据集上超过原始模型的准确率. 我们的发现凸显了指令微调和模型合并在针对 LLM 适应专门金融文本分类任务方面的有效性.
引用
@article{arxiv.2411.02476,
title = {A Comparative Analysis of Instruction Fine-Tuning LLMs for Financial Text Classification},
author = {Sorouralsadat Fatemi and Yuheng Hu and Maryam Mousavi},
journal= {arXiv preprint arXiv:2411.02476},
year = {2024}
}