一种面向无监督与半监督新意图发现的聚类框架
计算与语言
2023-12-14 v3
摘要
新意图发现对自然语言处理具有重大价值，能够更好地理解用户需求并提供友好服务。然而，大多数现有方法在仅有有限或没有标注数据先验知识时，难以捕捉离散文本表示的复杂语义。为解决该问题，我们提出了一种新颖的聚类框架USNID，用于无监督与半监督新意图发现，其包含三项关键技术。首先，它充分利用无监督或半监督数据挖掘浅层语义相似关系，并为聚类提供良好的初始化表示。其次，它设计了一种质心引导的聚类机制，以解决簇分配不一致问题，并为表示学习提供高质量的自监督目标。第三，它通过优化簇级和实例级目标，捕捉无监督或半监督数据中的高层语义，以发现细粒度的意图级簇。我们还提出了一种在开放世界场景中无需预先知晓新意图数量即可估计簇数的有效方法。USNID在多个基准意图数据集上表现极为出色，在无监督与半监督新意图发现中取得了新的SOTA结果，并在不同簇数下展现出鲁棒性能。
引用
@article{arxiv.2304.07699,
title = {A Clustering Framework for Unsupervised and Semi-supervised New Intent Discovery},
author = {Hanlei Zhang and Hua Xu and Xin Wang and Fei Long and Kai Gao},
journal= {arXiv preprint arXiv:2304.07699},
year = {2023}
}
备注
Accepted by IEEE TKDE