ChatGPT 是优秀的多方对话求解器吗？
计算与语言
2023-10-26 v1
摘要
大语言模型（LLMs）已成为自然语言处理领域内有影响力的工具；然而，它们处理多方对话（MPCs）——一种存在多个对话者参与复杂信息交换的场景——的能力仍属未知。本文深入探究了生成式 LLMs（如 ChatGPT 与 GPT-4）在 MPCs 语境下的潜力。我们通过将 ChatGPT 与 GPT-4 置于涵盖五项代表性任务的三套 MPC 数据集上评估，对其零样本学习能力进行了实证分析。结果表明，ChatGPT 在若干被评估的 MPC 任务上表现尚有很大不足，而 GPT-4 的结果则预示了光明前景。此外，我们试图通过引入包含说话人与受话人结构的 MPC 结构来提升性能。本研究对生成式 LLMs 应用于 MPCs 进行了详尽评估与分析，为构思与构建更高效、更鲁棒的 MPC 智能体提供了启示。同时，本工作凸显了将 LLMs 用于 MPCs 的隐含挑战，如解析图形信息流与生成风格一致的回复。
引用
@article{arxiv.2310.16301,
title = {Is ChatGPT a Good Multi-Party Conversation Solver?},
author = {Chao-Hong Tan and Jia-Chen Gu and Zhen-Hua Ling},
journal= {arXiv preprint arXiv:2310.16301},
year = {2023}
}
备注
Accepted by Findings of EMNLP 2023