用 ChatGPT 打破银行壁垒：面向金融领域的少样本文本分类
计算与语言
2023-08-29 v1 人工智能
机器学习
计算金融
摘要
我们提出使用对话式 GPT 模型，借助 Banking77 数据集在金融领域实现简便快捷的少样本文本分类。我们的方法涉及使用 GPT-3.5 和 GPT-4 进行上下文学习，这最小化了对技术专长的需求，并消除了对昂贵 GPU 计算的需求，同时产生快速而准确的结果。此外，我们使用 SetFit（一种近期的对比学习技术）微调其他预训练的掩码语言模型，以在全数据和少样本设定下均取得最先进（state-of-the-art）结果。我们的发现表明，即便使用更少的样本，查询 GPT-3.5 和 GPT-4 也能优于微调的非生成式模型。然而，这些解决方案相关的订阅费用对小型组织而言可能被视为昂贵。最后，我们发现当向生成式模型展示由人类专家挑选的代表性样本而非随机样本时，其在给定任务上表现更好。我们得出结论：a) 我们提出的方法为标签可用性有限的数据集中的少样本任务提供了实用解决方案，且 b) 我们的最先进结果可启发该领域的未来工作。
引用
@article{arxiv.2308.14634,
title = {Breaking the Bank with ChatGPT: Few-Shot Text Classification for Finance},
author = {Lefteris Loukas and Ilias Stogiannidis and Prodromos Malakasiotis and Stavros Vassos},
journal= {arXiv preprint arXiv:2308.14634},
year = {2023}
}
备注
Early pre-print; Accepted at the 5th FinNLP workshop @ IJCAI-2023