预训练在少样本意图分类中的有效性
计算与语言
2024-09-17 v2
摘要
本文研究了预训练在少样本意图分类中的有效性。尽管现有范式通常进一步在大量无标注语料上预训练BERT等语言模型，我们发现使用公开数据集中的少量标注话语对BERT进行简单微调既高效又极为有效。具体而言，用约1,000条标注数据微调BERT可得到一个预训练模型——IntentBERT，它能在语义差异很大的新领域上轻松超越现有预训练模型在少样本意图分类上的表现。IntentBERT的高有效性证实了少样本意图检测的可行性与实用性，其跨不同领域的高泛化能力表明意图分类任务可能共享相似的底层结构，该结构可从少量标注数据中高效学习。源代码见https://github.com/hdzhang-code/IntentBERT。
引用
@article{arxiv.2109.05782,
title = {Effectiveness of Pre-training for Few-shot Intent Classification},
author = {Haode Zhang and Yuwei Zhang and Li-Ming Zhan and Jiaxin Chen and Guangyuan Shi and Albert Y. S. Lam and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2109.05782},
year = {2024}
}
备注
Accepted as a short paper in Findings of EMNLP 2021