基于下一句预测与互信息在隐空间评估开放域对话
计算与语言
2023-06-13 v3
摘要
开放域对话长期存在的“一对多”问题给自动评估方法带来重大挑战，即对于给定的对话上下文，可能存在多个语义不同但合适的回复。为应对该挑战，我们提出一种新颖的基于学习的自动评估指标（CMN），其通过以下一句预测（NSP）目标增强条件变分自编码器（CVAE），并采用互信息（MI）在隐空间中对文本语义相似度建模，从而鲁棒地评估开放域对话。在两个开放域对话数据集上的实验结果表明，我们的方法相较于广泛基线具有优越性，尤其在应对与标准参考回复语义距离较远的回复时。
引用
@article{arxiv.2305.16967,
title = {Evaluating Open-Domain Dialogues in Latent Space with Next Sentence Prediction and Mutual Information},
author = {Kun Zhao and Bohao Yang and Chenghua Lin and Wenge Rong and Aline Villavicencio and Xiaohui Cui},
journal= {arXiv preprint arXiv:2305.16967},
year = {2023}
}
备注
Accepted at ACL2023