DiPlomat：一个用于情境化语用推理的对话数据集
计算与语言
2023-06-21 v2
摘要
语用推理在解读真实对话中频繁出现的隐含意义方面起着关键作用，并且对于发展交际性社会智能体至关重要。本文中，我们引入了一项新挑战DiPlomat，旨在对机器在语用推理与情境化对话理解上的能力进行基准测试。相较于先前将不同修辞表达(如隐喻、讽刺)作为独立任务处理的工作，DiPlomat为通用语用理解提供了一个连贯的框架。我们的数据集通过亚马逊众包平台(Amazon Mechanical Turk, AMT)创建，共计4,177段多轮对话。配合该数据集，我们提出了两项任务：语用识别与推理(PIR)和对话问答(CQA)。采用当前最优(SOTA)神经架构的实验结果揭示了若干重要发现：1)大语言模型(LLMs)在处理这一主观领域时表现不佳；2)对上下文的全面理解是建立良性人机交互的关键因素；3)当前模型在语用推理的应用上存在缺陷。因此，我们呼吁更多关注以提升上下文理解、推理及隐含意义建模的能力。
引用
@article{arxiv.2306.09030,
title = {DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning},
author = {Hengli Li and Song-Chun Zhu and Zilong Zheng},
journal= {arXiv preprint arXiv:2306.09030},
year = {2023}
}