ChatGPT是金融专家吗？评估语言模型在金融自然语言处理上的表现
计算与语言
2023-10-20 v1
摘要
以ChatGPT为代表的大语言模型（LLMs）的出现，革新了通用自然语言预处理（NLP）任务。然而，它们在金融领域的专业能力尚缺乏全面评估。为评估LLMs解决金融NLP任务的能力，我们提出FinLMEval，一个面向金融语言模型评估的框架，包含九个用于评估语言模型性能的数据集。本研究比较了仅编码器语言模型与仅解码器语言模型的性能。我们的发现表明，尽管部分仅解码器LLMs通过零样本提示在大多数金融任务上展现出显著性能，但它们总体上落后于微调的专家模型，尤其在处理专有数据集时。我们希望本研究能为持续构建更先进的金融领域LLMs提供基础性评估。
引用
@article{arxiv.2310.12664,
title = {Is ChatGPT a Financial Expert? Evaluating Language Models on Financial Natural Language Processing},
author = {Yue Guo and Zian Xu and Yi Yang},
journal= {arXiv preprint arXiv:2310.12664},
year = {2023}
}
备注
Findings of EMNLP 2023 (short paper)