ECoh：面向多语言对话的轮次级连贯性评估
计算与语言
2024-07-17 v1
摘要
尽管 GPT-4 被推介为对话评估的新标准，但其闭源性质为社区带来了挑战。针对轻量级、开源和多语言对话评估器的需求，本文介绍了 GenResCoh（Generated Responses targeting Coherence，即生成响应针对连贯性）。GenResCoh 是一个新颖的大语言模型生成数据集，包含来自 XDailyDialog 和 XPersona 的超过 13 万条负面和正面响应及其解释，覆盖英语、法语、德语、意大利语和中文。借助 GenResCoh，我们提出了 ECoh（Evaluation of Coherence，即连贯性评估），一族针对多语言对话连贯性评估的评估器。实验结果表明，ECoh 在 GenResCoh 上的多语言检测能力优于教师模型（GPT-3.5-Turbo），尽管其基于的架构要小得多。此外，ECoh 提供的解释质量与教师模型生成的解释密切一致。
引用
@article{arxiv.2407.11660,
title = {ECoh: Turn-level Coherence Evaluation for Multilingual Dialogues},
author = {John Mendonça and Isabel Trancoso and Alon Lavie},
journal= {arXiv preprint arXiv:2407.11660},
year = {2024}
}
备注
Accepted to SIGDIAL 2024