NLG 系统文本自然度评估的自动化
计算与语言
2020-06-25 v1 机器学习
摘要
评估自动生成文本各种质量标准的自动方法和指标对开发 NLG 系统十分重要，因为它们产生可重复结果并允许快速开发周期。我们在此提出一种自动化文本自然度评估的尝试，文本自然度是自然语言生成方法的一个非常重要的特征。我们提议不依赖人类参与者对文本样本打分或标注，而是通过我们使用的人类相似度量和基于大型预训练语言模型及其概率分布的判别过程来自动化该过程。我们分析了文本概率分数，并观察它们如何受过程中涉及的生成和判别模型大小的影响。基于我们的结果，更大的生成器和更大的预训练判别器更适合更好地评估文本自然度。需要后续通过人类参与者进行全面验证程序，以检查该自动评估方案与人类判断的相关性。
引用
@article{arxiv.2006.13268,
title = {Automating Text Naturalness Evaluation of NLG Systems},
author = {Erion Çano and Ondřej Bojar},
journal= {arXiv preprint arXiv:2006.13268},
year = {2020}
}
备注
15 pages, 4 equations, 3 tables. arXiv admin note: text overlap with arXiv:2006.03189