超越已知：探究大语言模型在域外意图检测中的性能
计算与语言
2024-03-05 v2
摘要
域外（OOD）意图检测旨在考察用户查询是否超出系统的预定义域，这对于任务型对话（TOD）系统的正常运行至关重要。以往的方法通过微调判别式模型来解决这一问题。近年来，一些研究正在探索以 ChatGPT 为代表的大语言模型（LLMs）在各种下游任务中的应用，但它们在 OOD 检测任务上的能力尚不明确。本文在各种实验设置下对 LLMs 进行了全面评估，并概述了其优缺点。我们发现 LLMs 表现出强大的零样本和少样本能力，但与利用全量资源微调的模型相比仍处于劣势。更深入地，通过一系列额外的分析实验，我们讨论并总结了 LLMs 面临的挑战，并为未来的工作提供了指导，包括注入领域知识、加强从域内（IND）到域外（OOD）的知识迁移，以及理解长指令。
引用
@article{arxiv.2402.17256,
title = {Beyond the Known: Investigating LLMs Performance on Out-of-Domain Intent Detection},
author = {Pei Wang and Keqing He and Yejie Wang and Xiaoshuai Song and Yutao Mou and Jingang Wang and Yunsen Xian and Xunliang Cai and Weiran Xu},
journal= {arXiv preprint arXiv:2402.17256},
year = {2024}
}