突破大语言模型文本分类能力的极限
计算与语言
2024-02-19 v2
摘要
由于大语言模型（LLMs）在众多下游自然语言处理任务中展现出非凡效能，文本分类的未来研究价值遭遇了挑战与不确定性。在这个任务边界逐渐模糊的开放式语言建模时代，一个紧迫的问题浮现出来：在充分利用大语言模型优势的情况下，我们在文本分类方面是否取得了显著进展？为回答此问题，我们提出RGPT，一个自适应提升框架，旨在通过循环集成一组强基学习器来生成一个专用的文本分类大语言模型。这些基学习器通过自适应调整训练样本分布并迭代微调大语言模型来构建。然后，通过递归地整合先前学习器的历史预测，将这些基学习器集成为一个专用的文本分类大语言模型。通过全面的实证比较，我们表明RGPT在四个基准测试上平均显著优于8个最先进的预训练语言模型（SOTA PLMs）和7个最先进的大语言模型（SOTA LLMs），性能提升达1.36%。进一步的评估实验显示，RGPT明显超越了人类分类水平。
引用
@article{arxiv.2402.07470,
title = {Pushing The Limit of LLM Capacity for Text Classification},
author = {Yazhou Zhang and Mengyao Wang and Chenyu Ren and Qiuchi Li and Prayag Tiwari and Benyou Wang and Jing Qin},
journal= {arXiv preprint arXiv:2402.07470},
year = {2024}
}