自然语言生成的无参考质量估计
计算与语言
2017-08-08 v1
摘要
传统的自然语言生成（NLG）自动评估指标使用昂贵的人工撰写的参考文献来估计系统输出的质量。本文提出一种基于循环神经网络的无参考质量估计（QE）方法，该方法仅通过将 NLG 系统输出与源端语义表示进行比较来预测质量分数。我们的方法在大多数方面优于传统指标和常数基线；我们还表明，与基础系统相比，合成数据有助于将相关性结果提高 21%。尽管设置更具挑战性，我们的结果仍可与类似 QE 任务中获得的结果相媲美。
引用
@article{arxiv.1708.01759,
title = {Referenceless Quality Estimation for Natural Language Generation},
author = {Ondřej Dušek and Jekaterina Novikova and Verena Rieser},
journal= {arXiv preprint arXiv:1708.01759},
year = {2017}
}
备注
Accepted as a regular paper to 1st Workshop on Learning to Generate Natural Language (LGNL), Sydney, 10 August 2017