ACCENT：一种面向开放域对话系统的自动事件常识评估指标
计算与语言
2023-11-06 v2
摘要
常识推理在人类交流中无处不在，因此是开放域对话系统的一项重要特征。然而，评估对话系统中的常识仍是一项开放挑战。我们迈出的第一步聚焦于事件常识——其考量事件及其关系，并且在对话与通用常识推理中均至关重要。我们提出 ACCENT，一种由常识知识库（CSKBs）赋能的事件常识评估指标。ACCENT 首先从对话中抽取事件-关系元组，随后依据这些元组与 CSKB 的兼容性打分来评估回复。为评估 ACCENT，我们构建了首个面向开放域对话的公开事件常识评估数据集。我们的实验表明，ACCENT 是一种高效的事件常识评估指标，其相较现有基线取得了更高的人类判断相关性。
引用
@article{arxiv.2305.07797,
title = {ACCENT: An Automatic Event Commonsense Evaluation Metric for Open-Domain Dialogue Systems},
author = {Sarik Ghazarian and Yijia Shao and Rujun Han and Aram Galstyan and Nanyun Peng},
journal= {arXiv preprint arXiv:2305.07797},
year = {2023}
}
备注
ACL 2023