通过带簇精炼的约束深度自适应聚类发现新意图
计算与语言
2019-11-21 v1 机器学习
摘要
识别新用户意图是对话系统中的一项基本任务。然而，由于意图的定义强烈受先验知识引导，很难获得令人满意的聚类结果。现有方法通过密集的特征工程融入先验知识，这不仅导致过拟合，还使其对簇的数量敏感。在本文中，我们提出带簇精炼的约束深度自适应聚类（CDAC+），一种端到端聚类方法，可自然地将成对约束作为先验知识融入以引导聚类过程。此外，我们通过迫使模型从高置信度分配中学习来精炼簇。在剔除低置信度分配后，我们的方法出人意料地对簇的数量不敏感。在三个基准数据集上的实验结果表明，我们的方法相比强基线能带来显著提升。
引用
@article{arxiv.1911.08891,
title = {Discovering New Intents via Constrained Deep Adaptive Clustering with Cluster Refinement},
author = {Ting-En Lin and Hua Xu and Hanlei Zhang},
journal= {arXiv preprint arXiv:1911.08891},
year = {2019}
}
备注
Accepted by AAAI2020