基于自然语言推理评估数据到文本生成的语义准确性
计算与语言
2020-11-24 v1
摘要
评估数据到文本（D2T）生成的一个主要挑战是度量生成文本的语义准确性，即检查输出文本是否包含且仅包含输入数据所支持的事实。我们提出了一种基于为自然语言推理（NLI）预训练的神经网络模型来评估 D2T 生成语义准确性的新指标。我们使用 NLI 模型在两个方向上检查输入数据与输出文本之间的文本蕴含关系，从而能够揭示遗漏或幻觉。输入数据使用简单模板转换为文本以进行 NLI。我们在两个近期 D2T 数据集上的实验表明，我们的指标在识别错误系统输出方面可以达到高准确性。
引用
@article{arxiv.2011.10819,
title = {Evaluating Semantic Accuracy of Data-to-Text Generation with Natural Language Inference},
author = {Ondřej Dušek and Zdeněk Kasner},
journal= {arXiv preprint arXiv:2011.10819},
year = {2020}
}
备注
Accepted as a short paper for INLG 2020