一种用于新意图发现的扩散加权图框架
计算与语言
2023-10-25 v1 人工智能
机器学习
摘要
新意图发现（NID）旨在借助仅含已知意图的有限标注数据，从未标注数据中识别新意图与已知意图。以往方法未考虑样本间的结构关系，生成了噪声监督信号，无法在数量与质量间取得平衡，阻碍了新意图簇的形成与预训练知识的有效迁移。为缓解此局限，我们提出一种新颖的扩散加权图框架（DWGF）以捕获数据固有的语义相似性与结构关系，从而提供更充分可靠的监督信号。具体而言，对每个样本，我们沿由最近邻引导的语义路径进行多跳邻域关系扩散，以判别性地刻画其局部结构。随后，我们采样其正键并基于语义相似性与局部结构进行加权以用于对比学习。在推理阶段，我们进一步提出图平滑滤波器（GSF）以显式利用结构关系过滤簇边界上语义模糊样本所蕴含的高频噪声。大量实验表明，我们的方法在多个基准数据集的所有评估指标上均优于最先进的模型。代码与数据见 https://github.com/yibai-shi/DWGF。
引用
@article{arxiv.2310.15836,
title = {A Diffusion Weighted Graph Framework for New Intent Discovery},
author = {Wenkai Shi and Wenbin An and Feng Tian and Qinghua Zheng and QianYing Wang and Ping Chen},
journal= {arXiv preprint arXiv:2310.15836},
year = {2023}
}
备注
EMNLP 2023 Main