大语言模型遇见开放世界意图发现与识别：ChatGPT 的评估
计算与语言
2023-10-17 v1 人工智能
机器学习
摘要
域外（OOD）意图发现与广义意图发现（GID）任务旨在将封闭意图分类器扩展至开放世界意图集合，这对任务型对话（TOD）系统至关重要。以往方法通过微调判别模型来解决它们。近来，尽管一些研究在探索以 ChatGPT 为代表的大语言模型（LLMs）在各种下游任务中的应用，但 ChatGPT 发现和增量扩展 OOD 意图的能力仍不明确。在本文中，我们全面评估了 ChatGPT 在 OOD 意图发现与 GID 上的表现，并梳理了其优势与不足。总体而言，ChatGPT 在零样本设定下展现出一致优势，但相较微调模型仍处于劣势。更深入地，通过一系列分析实验，我们总结并讨论了 LLMs 面临的挑战，包括聚类、领域特定理解以及跨域上下文学习场景。最后，我们为应对这些挑战的未来方向提供了实证指导。
引用
@article{arxiv.2310.10176,
title = {Large Language Models Meet Open-World Intent Discovery and Recognition: An Evaluation of ChatGPT},
author = {Xiaoshuai Song and Keqing He and Pei Wang and Guanting Dong and Yutao Mou and Jingang Wang and Yunsen Xian and Xunliang Cai and Weiran Xu},
journal= {arXiv preprint arXiv:2310.10176},
year = {2023}
}
备注
Accpeted to EMNLP 2023 (Main Conference)