基于无监督语义聚类与依存句法分析的开集意图发现
计算与语言
2021-12-15 v2
摘要
意图理解在对话系统中起着重要作用，通常被视为监督学习问题。然而，从一个新领域从头设计意图具有挑战性且耗时，通常需要领域专家的大量人工投入。本文提出一种无监督两阶段方法，从某领域内一组无标注话语中自动发现意图并生成有意义的意图标签。在第一阶段，我们旨在生成一组语义连贯的簇，使得每个簇内话语传达相同意图。我们从多种预训练句子嵌入中获取话语表示，并提出一种平衡分数度量，以在K-means聚类中为平衡数据集确定最优簇数。在第二阶段，目标是为每个簇自动生成意图标签。我们使用依存分析器从每条话语中提取ACTION-OBJECT对，并取每个簇内最频繁的对（例如，book-restaurant）作为生成的意图标签。我们通过实验表明，所提出的无监督方法能够自动生成有意义的意图标签，并在话语聚类与意图发现中取得高准确率与召回率。
引用
@article{arxiv.2104.12114,
title = {Open Intent Discovery through Unsupervised Semantic Clustering and Dependency Parsing},
author = {Pengfei Liu and Youzhang Ning and King Keung Wu and Kun Li and Helen Meng},
journal= {arXiv preprint arXiv:2104.12114},
year = {2021}
}
备注
Published in IEEE CogInfoCom-2021