度量与提升对话生成的语义多样性
计算与语言
2022-10-25 v2
摘要
回复多样性已成为评估开放域对话生成模型质量的重要标准。然而，当前回复多样性的评价指标往往未能捕捉生成回复的语义多样性，因为它们主要考虑生成回复的词汇层面。本文引入一种新的自动评价指标来度量生成回复的语义多样性。通过人工评估，我们证明所提指标比现有词汇级多样性指标更好地契合人类对回复多样性的判断。此外，受对现有对话数据集分析的启发，我们提出一种简单而有效的学习方法以提升生成回复的语义多样性。我们的学习方法基于训练集的语义分布对训练样本加权。我们通过自动与人工评估表明，相较其他基线方法，我们的学习方法在回复多样性与连贯性上均有更好改善。
引用
@article{arxiv.2210.05725,
title = {Measuring and Improving Semantic Diversity of Dialogue Generation},
author = {Seungju Han and Beomsu Kim and Buru Chang},
journal= {arXiv preprint arXiv:2210.05725},
year = {2022}
}
备注
EMNLP22 Findings