CausalScore：一种用于评估开放域对话系统响应相关性的自动参考无关指标
计算与语言
2024-06-26 v1
摘要
自动评估开放域对话系统响应质量是一项具有挑战性且至关重要的任务。当前的评估指标往往无法与人类判断保持一致，尤其是在评估语法正确的响应时。为此，我们提出了一种新型指标，称为 CausalScore，通过衡量对话历史与响应之间的因果强度来评估响应的相关性。我们利用对话历史到响应的无条件依赖性和条件依赖性来估计因果强度。我们将我们的指标与现有的竞争性指标进行比较，评估其与人类判断的一致性。我们的实验结果表明，CausalScore 在与人类判断保持一致性方面显著优于现有的 state-of-the-art 指标。此外，我们收集了一个新的对话数据集 CGDIALOG+，包含人工标注的因果关系和一组成对的人类判断，以促进未来自动化指标的开发。
引用
@article{arxiv.2406.17300,
title = {CausalScore: An Automatic Reference-Free Metric for Assessing Response Relevance in Open-Domain Dialogue Systems},
author = {Tao Feng and Lizhen Qu and Xiaoxi Kang and Gholamreza Haffari},
journal= {arXiv preprint arXiv:2406.17300},
year = {2024}
}