基于大语言模型的文本分类
计算与语言
2023-10-10 v3
摘要
尽管 GPT-3 等大规模语言模型（LLM）取得显著成功，其在文本分类任务上的表现仍明显不及微调模型。这源于（1）在处理复杂语言现象（如强化、对比、反讽等）时缺乏推理能力；（2）上下文学习中所允许的词元数量有限。本文引入线索与推理提示（CARP）。CARP 采用渐进式推理策略以处理文本分类涉及的复杂语言现象：CARP 首先提示 LLM 寻找表层线索（如关键词、语气、语义关系、指称等），并据此导出诊断性推理过程以作最终判定。为进一步解决词元受限问题，CARP 在监督数据集上微调模型以进行 NN 示例检索用于上下文学习，使模型兼得 LLM 的泛化能力与全标注数据集提供的任务特定证据。显著地，CARP 在 5 个常用文本分类基准中的 4 个上取得新的 SOTA 性能：SST-2 上 97.39（+1.24）、AGNews 上 96.40（+0.72）、R8 上 98.78（+0.25）、R52 上 96.95（+0.6），在 MR 上性能与 SOTA 相当（92.39 对 93.3）。更重要的是，我们发现 CARP 在低资源与领域自适应设定下表现优异：每类仅用 16 例，CARP 即取得与每类 1,024 例的监督模型相当的性能。
引用
@article{arxiv.2305.08377,
title = {Text Classification via Large Language Models},
author = {Xiaofei Sun and Xiaoya Li and Jiwei Li and Fei Wu and Shangwei Guo and Tianwei Zhang and Guoyin Wang},
journal= {arXiv preprint arXiv:2305.08377},
year = {2023}
}
备注
Pre-print Version