超越研究数据集：工业场景中的新颖意图发现
计算与语言
2023-05-10 v1 机器学习
摘要
新颖意图发现将相似消息（问题）分组以识别先前未知的意图的过程自动化。然而，当前研究聚焦于仅含问题字段且与真实数据集差异显著的公开可用数据集。本文提出改进部署于大型电子商务平台中意图发现流程的方法。我们展示了在领域数据上预训练语言模型的益处：包括自监督与弱监督两种方式。我们还设计了在聚类任务微调期间利用真实数据集对话结构（即问题与答案）的最佳方法，称之为 Conv。我们所有方法结合以充分利用真实数据集，相较最先进的仅限问题的约束深度自适应聚类（CDAC）模型带来高达 33 个百分点的性能提升。相比之下，仅用于问题数据的 CDAC 模型相较朴素基线仅带来最高 13 个百分点的性能提升。
引用
@article{arxiv.2305.05474,
title = {Going beyond research datasets: Novel intent discovery in the industry setting},
author = {Aleksandra Chrabrowa and Tsimur Hadeliya and Dariusz Kajtoch and Robert Mroczkowski and Piotr Rybak},
journal= {arXiv preprint arXiv:2305.05474},
year = {2023}
}
备注
Accepted to Findings of EACL 2023