基于对比预训练与微调的小样本意图检测
计算与语言
2021-09-15 v1 机器学习
摘要
在本文中，我们关注一种更具挑战性的小样本意图检测场景，其中许多意图是细粒度且语义相似的。我们提出了一种简单而有效的小样本意图检测框架，通过对比预训练与微调实现。具体而言，我们首先在收集的意图数据集上进行自监督对比预训练，该过程在不使用任何标签的情况下隐式学习区分语义相似的语句。随后我们进行小样本意图检测，并结合监督对比学习，显式地将同一意图的语句拉近、将不同意图的语句推远。实验结果表明，我们所提方法在 5-shot 与 10-shot 设定下的三个具有挑战性的意图检测数据集上取得了最先进的性能。
引用
@article{arxiv.2109.06349,
title = {Few-Shot Intent Detection via Contrastive Pre-Training and Fine-Tuning},
author = {Jianguo Zhang and Trung Bui and Seunghyun Yoon and Xiang Chen and Zhiwei Liu and Congying Xia and Quan Hung Tran and Walter Chang and Philip Yu},
journal= {arXiv preprint arXiv:2109.06349},
year = {2021}
}
备注
Accepted by EMNLP 2021 main conference