ChatGPT 用于零样本对话理解的初步评估
计算与语言
2023-04-11 v1
摘要
零样本对话理解旨在使对话无需任何训练数据即可跟踪用户需求，已受到越来越多的关注。在这项工作中，我们研究了 ChatGPT 在零样本对话理解任务中的理解能力，包括口语语言理解（SLU）和对话状态跟踪（DST）。在四个流行基准上的实验结果揭示了 ChatGPT 在零样本对话理解方面的巨大潜力。此外，广泛的分析表明，ChatGPT 在 DST 任务中受益于多轮交互提示，但难以执行 SLU 的槽填充。最后，我们总结了 ChatGPT 在对话理解任务中的若干意外行为，希望为未来使用大语言模型（LLMs）构建零样本对话理解系统提供一些见解。
引用
@article{arxiv.2304.04256,
title = {A Preliminary Evaluation of ChatGPT for Zero-shot Dialogue Understanding},
author = {Wenbo Pan and Qiguang Chen and Xiao Xu and Wanxiang Che and Libo Qin},
journal= {arXiv preprint arXiv:2304.04256},
year = {2023}
}
备注
Technical Report