ChatGPT能识别意图吗？评估大语言模型在口语语言理解中的表现
计算与语言
2023-08-21 v2 人工智能
声音
音频与语音处理
摘要
近年来，大型预训练语言模型展现出强大的语言理解能力。这尤其体现在它们通过提示在下游任务上的零样本和上下文学习能力中。为评估其对口语语言理解（SLU）的影响，我们在多个基准上评估了若干此类模型，如不同规模的ChatGPT和OPT。我们验证了最大模型独有的涌现能力：在给定真实转录文本的情况下，它们能以零样本或少样本在多种语言上达到接近有监督模型的意图分类准确率。相比之下，适配单块GPU的小模型结果远远落后。我们注意到错误案例常源于数据集的标注方案；ChatGPT的回复仍属合理。然而，我们表明该模型在槽填充上表现更差，且其性能对ASR错误敏感，这暗示了此类文本模型在SLU应用上的严峻挑战。
引用
@article{arxiv.2305.13512,
title = {Can ChatGPT Detect Intent? Evaluating Large Language Models for Spoken Language Understanding},
author = {Mutian He and Philip N. Garner},
journal= {arXiv preprint arXiv:2305.13512},
year = {2023}
}
备注
6 pages, 2 figures; Accepted by Interspeech 2023