SelF-Eval：自监督细粒度对话评估
计算与语言
2022-09-19 v5
摘要
本文介绍了一种新颖的自监督细粒度对话评估框架（SelF-Eval）。其核心思想是建模轮次质量与整个对话质量之间的相关性。我们首先提出一种新颖的自动数据构建方法，可为任意对话数据自动分配细粒度分数。然后我们使用多级对比学习方案训练 \textbf{SelF-Eval}，有助于区分不同分数级别。在多个基准上的实验结果表明，SelF-Eval 与人工评估高度一致，且优于最先进的模型。我们在本文中对实验进行了详细分析。我们的代码已在 GitHub 上发布。
引用
@article{arxiv.2208.08094,
title = {SelF-Eval: Self-supervised Fine-grained Dialogue Evaluation},
author = {Longxuan Ma and Ziyu Zhuang and Weinan Zhang and Mingda Li and Ting Liu},
journal= {arXiv preprint arXiv:2208.08094},
year = {2022}
}
备注
11 pages, 2 figures, 5 tables