利用自然语言推理构建高效通用分类器
计算与语言
2024-03-25 v2 人工智能
摘要
生成式大语言模型（LLMs）已成为少样本和零样本学习的主流选择，得益于文本生成的通用性。然而，许多用户仅想自动化分类任务时并不需要生成式LLM的广泛能力。较小的BERT类模型也能学习通用任务，使其无需微调即可执行任何文本分类任务（零样本分类），或仅需少量示例即可学习新任务（少样本），同时比生成式LLM高效得多。本文（1）解释如何将自然语言推理（NLI）用作通用分类任务，遵循与生成式LLM指令微调相似的原理；（2）提供逐步指南及可复用的Jupyter笔记本，用于构建通用分类器；（3）分享最终通用分类器，该分类器在33个数据集、389个不同类别上训练。我们分享的部分代码曾用于训练我们早期的零样本分类器，截至2023年12月，这些分类器在Hugging Face Hub上的下载量已超过5500万次。我们的新分类器将零样本性能提升了9.4%。
引用
@article{arxiv.2312.17543,
title = {Building Efficient Universal Classifiers with Natural Language Inference},
author = {Moritz Laurer and Wouter van Atteveldt and Andreu Casas and Kasper Welbers},
journal= {arXiv preprint arXiv:2312.17543},
year = {2024}
}