揭示 ChatGPT 在对话话语分析中的潜力：一项实证研究
计算与语言
2024-03-06 v2
摘要
像 ChatGPT 这样的大型语言模型已在许多下游任务中展现出显著能力，然而它们理解对话话语结构的能力仍较少被探索，而这需要更高层次的理解与推理能力。在本文中，我们旨在系统检视 ChatGPT 在两个话语分析任务中的表现：话题分割与话语解析，聚焦于其对对话底层线性与层次话语结构的深层语义理解。为指示 ChatGPT 完成这些任务，我们最初设计了一个由任务描述、输出格式和结构化输入组成的提示模板。随后，我们在四个流行的话题分割数据集和两个话语解析数据集上进行实验。实验结果表明，ChatGPT 在识别通用领域对话中的话题结构方面表现出色，但在特定领域对话中表现相当吃力。我们还发现 ChatGPT 几乎无法理解比话题结构更为复杂的修辞结构。我们更深入的调查表明，ChatGPT 能给出比人工标注更合理的话题结构，但仅能线性解析层次修辞结构。此外，我们探究了上下文学习（如思维链）对 ChatGPT 的影响，并对各类提示组件进行消融研究，可为未来工作提供研究基础。代码可在 \url{https://github.com/yxfanSuda/GPTforDDA} 获取。
引用
@article{arxiv.2305.08391,
title = {Uncovering the Potential of ChatGPT for Discourse Analysis in Dialogue: An Empirical Study},
author = {Yaxin Fan and Feng Jiang and Peifeng Li and Haizhou Li},
journal= {arXiv preprint arXiv:2305.08391},
year = {2024}
}
备注
Accepted by LREC-COLING'2024