面向短文本分类的提示学习
计算与语言
2022-04-01 v2 人工智能
摘要
在短文本中，极短的长度、特征稀疏性与高歧义性给分类任务带来巨大挑战。近来，作为一种为特定下游任务调优预训练语言模型(Pre-trained Language Models)的有效方法，提示学习(prompt-learning)吸引了大量关注与研究。提示学习的主要直觉是向输入中插入模板，并将文本分类任务转化为等价的完形填空式任务。然而，多数提示学习方法手动扩展标签词，或仅在完形填空式预测中考虑类名以融入知识，这不可避免地会在短文本分类任务中引发遗漏与偏差。本文提出一种简单的短文本分类方法，利用基于知识扩展的提示学习。考虑到短文本的特殊性，该方法在扩展标签词空间时可同时考虑短文本本身与类名。具体而言，从 Probase 等开放知识图中检索与短文本中实体相关的 top 个概念，并通过所选概念与类标签间的距离计算进一步精炼扩展的标签词。实验结果表明，与其他微调、提示学习及知识提示调优方法相比，我们的方法获得明显提升，在三个知名数据集上以最高 6 个准确率点超越当前最优(state-of-the-art)。
引用
@article{arxiv.2202.11345,
title = {Prompt-Learning for Short Text Classification},
author = {Yi Zhu and Xinke Zhou and Jipeng Qiang and Yun Li and Yunhao Yuan and Xindong Wu},
journal= {arXiv preprint arXiv:2202.11345},
year = {2022}
}