微调的小型LLM在文本分类中(仍然)显著优于零样本生成式AI模型
计算与语言
2024-08-19 v2 人工智能
摘要
生成式AI为文本分类任务提供了一种简单的、基于提示的替代方案,以替代微调较小的BERT风格LLM。这有望消除对人工标注训练数据和特定任务模型训练的需求。然而,ChatGPT等工具能否实现这一承诺仍是一个悬而未决的问题。在本文中,我们表明,在文本分类中,较小的、微调后的LLM(仍然)持续且显著优于较大的、零样本提示模型。我们比较了三种主要的生成式AI模型(ChatGPT与GPT-3.5/GPT-4以及Claude Opus)与几种微调后的LLM,涵盖了一系列不同的分类任务(情感、赞同/反对、情绪、政党立场)和文本类别(新闻、推文、演讲)。我们发现,在所有情况下,使用特定应用训练数据进行微调都能获得卓越的性能。为了使这种方法更易于被更广泛的受众使用,我们随本文提供了一个易于使用的工具包。我们的工具包,附有非技术性的逐步指导,使用户能够以最小的技术和计算工作量,为任何分类任务选择和微调类似BERT的LLM。
引用
@article{arxiv.2406.08660,
title = {Fine-Tuned 'Small' LLMs (Still) Significantly Outperform Zero-Shot Generative AI Models in Text Classification},
author = {Martin Juan José Bucher and Marco Martini},
journal= {arXiv preprint arXiv:2406.08660},
year = {2024}
}