让LLM物尽其用：银行业资源受限下的文本分类
计算与语言
2023-11-13 v1 人工智能
摘要
NLP中的标准全数据分类器需要数千个标注样本，这在数据受限领域并不现实。少样本方法提供了一种替代方案，其利用对比学习技术，每类仅需20个样本即可生效。类似地，诸如GPT-4之类的大型语言模型（LLM）每类仅需1-5个样本便能高效运作。然而，这些方法的性能-成本权衡仍未被充分探究，这对预算受限的组织而言是至关重要的问题。我们的工作通过在Banking77金融意图检测数据集上研究上述方法填补了这一空白，包括在一整套少样本场景下评估OpenAI、Cohere和Anthropic的尖端LLM。我们以两种额外方法补全了图景：其一，一种基于检索增强生成（RAG）的LLM高性价比查询方法，相较经典少样本方法可将运营成本降低数倍；其二，一种使用GPT-4的数据增强方法，能够在数据受限场景下提升性能。最后，为启发未来研究，我们提供了由人类专家筛选的Banking77子集，以及详尽的错误分析。
引用
@article{arxiv.2311.06102,
title = {Making LLMs Worth Every Penny: Resource-Limited Text Classification in Banking},
author = {Lefteris Loukas and Ilias Stogiannidis and Odysseas Diamantopoulos and Prodromos Malakasiotis and Stavros Vassos},
journal= {arXiv preprint arXiv:2311.06102},
year = {2023}
}
备注
Long paper accepted to ACM ICAIF-23