可控意图发现:使用半监督对比学习的增量式深度聚类
计算与语言
2024-10-22 v1 人工智能
机器学习
摘要
从对话式 AI 系统中获取价值取决于用户将先验知识转化为配置的能力。在大多数情况下,发现一组相关的轮次级说话者意图通常是关键步骤之一。纯无监督算法为解决发现问题提供了一种自然的方式,但难以融入约束条件,并且对结果的控制非常有限。先前的工作表明,半监督(深度)聚类技术可以允许系统在意图发现过程中融入先验知识和约束。然而,它们没有解决如何通过人类反馈实现控制的问题。在我们的可控意图发现(CDI)框架中,领域知识和先验知识通过以下方式融入:首先在无标签数据上进行无监督对比学习,然后在部分标签数据上进行微调,最后通过重复聚类和伪标签微调来迭代优化聚类和表示。此外,我们借鉴了持续学习文献,使用“无遗忘学习”来防止跨这些训练阶段的灾难性遗忘。最后,我们展示了这种深度聚类过程如何成为带有人工参与的增量式发现策略的一部分。我们在 CLINC 和 BANKING 数据集上报告了结果。CDI 以显著的优势超越了先前的工作:分别提升了 10.26% 和 11.72%。
引用
@article{arxiv.2410.14755,
title = {Controllable Discovery of Intents: Incremental Deep Clustering Using Semi-Supervised Contrastive Learning},
author = {Mrinal Rawat and Hithesh Sankararaman and Victor Barres},
journal= {arXiv preprint arXiv:2410.14755},
year = {2024}
}
备注
Accepted in IJCNLP'23