RoNID:利用生成可靠标签和聚类友好表示的新意图发现
计算与语言
2024-04-19 v2 机器学习
摘要
新意图发现(NID)旨在开放世界场景中识别已知意图并合理推断新的意图组。但当前方法面临伪标签不准确和表示学习差的问题,形成负反馈循环,降低了整体模型性能,包括准确性和调整兰德指数。为了解决上述挑战,我们提出了一种鲁棒的新意图发现(RoNID)框架,通过EM风格方法进行优化,专注于构建可靠的伪标签和获得聚类友好的判别性表示。RoNID包含两个主要模块:可靠伪标签生成模块和聚类友好表示学习模块。具体来说,伪标签生成模块通过在E步中求解最优传输问题来分配可靠的合成标签,从而为聚类友好表示学习模块的输入有效提供高质量的监督信号。为了学习具有强簇内紧凑性和大簇间分离性的聚类友好表示,表示学习模块在M步中结合了簇内和簇间对比学习,为生成模块提供更具判别性的特征。RoNID可以迭代执行,最终产生一个具有可靠伪标签和聚类友好表示的鲁棒模型。在多个基准上的实验结果表明,我们的方法相比之前的最先进方法有大幅提升,提高了+1~+4个百分点。
引用
@article{arxiv.2404.08977,
title = {RoNID: New Intent Discovery with Generated-Reliable Labels and Cluster-friendly Representations},
author = {Shun Zhang and Chaoran Yan and Jian Yang and Changyu Ren and Jiaqi Bai and Tongliang Li and Zhoujun Li},
journal= {arXiv preprint arXiv:2404.08977},
year = {2024}
}
备注
DASFAA 2024