开放域对话质量评估：由轮次级分数推导片段级分数
计算与语言
2023-10-03 v1 信息检索
摘要
现有的对话质量评估系统可针对给定系统轮次从特定视角（如吸引力）返回一个分数。然而，为通过准确定位系统轮次中潜在问题所在来改进对话系统，可能更需要细粒度的评估。因此我们提出一种评估方法：将一轮对话分解为片段（即与对话行为相关的表达），并通过利用现有的轮次级评估系统实现片段级评估。我们通过案例研究展示了该评估方法的潜在有效性。
引用
@article{arxiv.2310.00410,
title = {Open-Domain Dialogue Quality Evaluation: Deriving Nugget-level Scores from Turn-level Scores},
author = {Rikiya Takehi and Akihisa Watanabe and Tetsuya Sakai},
journal= {arXiv preprint arXiv:2310.00410},
year = {2023}
}