DEnsity：基于密度估计的开放域对话评价度量
计算与语言
2023-05-26 v2
摘要
尽管开放域对话系统近期取得了进展，构建可靠的评价度量仍是一个具有挑战性的问题。近期研究提出了基于分类模型训练以区分正确回复的可学习度量。然而，已知神经分类器对来自未见分布的样本会做出过度自信的预测。我们提出 DEnsity，通过在由神经分类器导出的特征空间上利用密度估计来评价回复。我们的度量衡量一个回复在人类对话分布中出现的可能性。此外，为提升 DEnsity 的性能，我们利用对比学习进一步压缩特征空间。在多个回复评价数据集上的实验表明，DEnsity 比现有度量与人类评价的相关性更好。我们的代码可在 https://github.com/ddehun/DEnsity 获取。
引用
@article{arxiv.2305.04720,
title = {DEnsity: Open-domain Dialogue Evaluation Metric using Density Estimation},
author = {ChaeHun Park and Seungil Chad Lee and Daniel Rim and Jaegul Choo},
journal= {arXiv preprint arXiv:2305.04720},
year = {2023}
}
备注
Findings of ACL2023. 13 pages