LANID：LLM辅助的新意图发现
计算与语言
2025-04-01 v1 人工智能
摘要
任务导向对话系统（TODS）常面临遇到新意图的挑战。新意图发现（NID）是一个关键任务，旨在识别这些新意图，同时保持识别既有意图的能力。现有方法尝试适应TODS以应对新意图，却在语义表示不足或依赖外部知识方面受限，这些方法往往不可扩展或不够灵活。最近，大型语言模型（LLM）显示出强大的零样本能力；然而，其规模对涉及大量查询的实际应用而言往往不够实用。为克服现有NID方法的局限性并利用LLM，我们提出了LANID框架，通过LLM的指导增强轻量级NID编码器的语义表示。具体而言，LANID采用K近邻算法和基于密度的空间应用带噪声的聚类（DBSCAN）算法从训练集中抽取选择性言语对。然后查询LLM以确定这些对之间的关系。该流程产生的数据用于设计对比微调任务，然后用于训练一个带对比三元组损失的小型编码器。我们的实验结果表明，所提方法在三个不同的NID数据集上均表现出色，在无监督和半监督设置下均优于强基准。我们的代码可在https://github.com/floatSDSDS/LANID上获取。
引用
@article{arxiv.2503.23740,
title = {LANID: LLM-assisted New Intent Discovery},
author = {Lu Fan and Jiashu Pu and Rongsheng Zhang and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2503.23740},
year = {2025}
}
备注
Published in LREC-COLING 2024