面向大语言模型的意图检测
计算与语言
2024-10-03 v1
摘要
意图检测是面向任务导向对话系统(TODS)的关键组件，使其能够在每个对话轮次识别适合的动作以应对用户语料。传统方法依赖计算效率高的监督句子转换器编码器模型，这些模型需要大量训练数据且在超出范围(OOS)检测方面表现不佳。具有内在世界知识的生成式大型语言模型(LLM)的出现，为解决这些挑战带来了新的机遇。在本工作中，我们对7种SOTA LLM采用自适应情境学习和链式思维提示进行意图检测适配，并与对比微调的句子转换器(SetFit)模型进行性能比较，以突出预测质量与延迟之间的权衡。我们提出一种基于不确定性路由策略的混合系统，将两种方法结合起来，并通过负面数据增强实现双方所需的最佳效果(即在准确率上仅比本地LLM低2%，但延迟降低50%)。为更好地理解LLM OOS检测能力，我们进行受控实验，揭示这一能力显著受意图标签范围和标签空间大小的影响。我们还引入一种两步骤方法，利用内部LLM表示，为Mistral-7B模型在OOS检测准确率和F1分数上实现>5%的提升。
引用
@article{arxiv.2410.01627,
title = {Intent Detection in the Age of LLMs},
author = {Gaurav Arora and Shreya Jain and Srujana Merugu},
journal= {arXiv preprint arXiv:2410.01627},
year = {2024}
}
备注
Accepted at EMNLP 2024 Industry Track