基于预训练与对比学习的新意图发现
计算与语言
2025-04-08 v2
摘要
新意图发现旨在从用户话语中发掘新颖的意图类别，以扩展所支持的意图类集合。它是实际对话系统开发与业务扩展的关键任务。尽管重要，该问题在文献中仍鲜有探索。现有方法通常依赖大量标注话语，并采用伪标注方法进行表示学习与聚类，存在标注密集、效率低且不准确的缺陷。本文针对新意图发现的两个重要研究问题提供新解：（1）如何学习语义话语表示；（2）如何更好地聚类话语。具体地，我们首先提出一种多任务预训练策略，利用丰富的无标注数据及外部标注数据进行表示学习。随后，我们设计了一种新的对比损失，以挖掘无标注数据中的自监督信号用于聚类。在三个意图识别基准上的大量实验证明了我们所提方法的高效性，在无监督和半监督场景下均以大幅优势优于最先进的方法。源代码将发布于 https://github.com/zhang-yu-wei/MTP-CLNN。
引用
@article{arxiv.2205.12914,
title = {New Intent Discovery with Pre-training and Contrastive Learning},
author = {Yuwei Zhang and Haode Zhang and Li-Ming Zhan and Albert Y. S. Lam and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2205.12914},
year = {2025}
}
备注
Accepted to ACL 2022; Modified Figure 2