C-PMI：用于轮次级对话评估的条件点互信息
计算与语言
2023-09-04 v3
摘要
现有的无参考轮次级聊天机器人评估指标未能充分捕捉用户与系统之间的交互，因此往往与人类评估的相关性较差。为解决此问题，我们提出一种与模型无关的 novel 方法，利用条件点互信息（C-PMI）基于给定评估维度来衡量系统与用户之间的轮次级交互。在广泛使用的 FED 对话评估数据集上的实验结果表明，与现有评估系统相比，我们的方法显著提升了与人类判断的相关性。通过将基于负对数似然的评分器替换为我们所提出的 C-PMI 评分器，我们在 FED 评估指标上平均实现了相对高出 62.6% 的 Spearman 相关性。我们的代码已公开于 https://github.com/renll/C-PMI。
引用
@article{arxiv.2306.15245,
title = {C-PMI: Conditional Pointwise Mutual Information for Turn-level Dialogue Evaluation},
author = {Liliang Ren and Mankeerat Sidhu and Qi Zeng and Revanth Gangi Reddy and Heng Ji and ChengXiang Zhai},
journal= {arXiv preprint arXiv:2306.15245},
year = {2023}
}
备注
Published at ACL2023 DialDoc Workshop; Updated Results