大语言模型是零样本文本分类器
计算与语言
2023-12-05 v1
摘要
预训练的大语言模型（LLM）已广泛应用于自然语言处理（NLP）的各个子领域。在NLP中，文本分类问题备受关注，但仍面临计算成本高、耗时长以及对未见类别的鲁棒性有限等局限。随着思维链提示（CoT）的提出，LLM可以通过逐步推理提示实现零样本学习（ZSL），而非传统的问答格式。文本分类问题中的零样本LLM通过直接利用预训练模型预测已见和未见类别，可以缓解这些局限。我们的研究主要验证GPT模型在文本分类中的能力，重点在于有效利用提示策略适应各种文本分类场景。此外，我们将零样本LLM的性能与其他先进的文本分类方法（包括传统机器学习方法、深度学习方法以及ZSL方法）进行了比较。实验结果表明，在分析的四个数据集中，LLM在三个数据集上展现了作为零样本文本分类器的有效性。这种能力对于在文本分类方面可能缺乏广泛知识的小型企业或团队尤为有利。
引用
@article{arxiv.2312.01044,
title = {Large Language Models Are Zero-Shot Text Classifiers},
author = {Zhiqiang Wang and Yiran Pang and Yanbin Lin},
journal= {arXiv preprint arXiv:2312.01044},
year = {2023}
}
备注
9 pages, 3 figures, 6 tables