MME-CRS：基于相关性重标定的多指标评估用于开放域对话评估
计算与语言
2022-06-22 v1
摘要
自动开放域对话评估是对话系统的一个关键组成部分。近年来，基于学习的评估指标在开放域对话评估中取得了最先进的性能。然而，这些指标仅关注少数几个质量维度，难以全面评估对话。此外，这些指标缺乏一种有效的分数组合方法来处理多样化的评估质量。为了解决上述问题，我们提出了一种基于相关性重标定的多指标评估方法（MME-CRS）用于评估开放域对话。首先，我们构建了一个由 5 组并行子指标组成的评估指标，称为多指标评估（MME），以全面评估对话质量。此外，我们提出了一种新颖的分数组合方法，称为相关性重标定（CRS），用于建模子指标与多样化质量之间的关系。我们的方法 MME-CRS 在 DSTC10 track5 subtask1 自动开放域对话评估挑战赛的最终测试数据上以较大优势排名第一，这证明了我们提出方法的有效性。
引用
@article{arxiv.2206.09403,
title = {MME-CRS: Multi-Metric Evaluation Based on Correlation Re-Scaling for Evaluating Open-Domain Dialogue},
author = {Pengfei Zhang and Xiaohui Hu and Kaidong Yu and Jian Wang and Song Han and Cao Liu and Chunyang Yuan},
journal= {arXiv preprint arXiv:2206.09403},
year = {2022}
}
备注
7 pages, 1 figure, 6 tables