句子级流畅度评估：参考有用，但可省去！
计算与语言
2018-09-25 v1
摘要
受近期关于可接受性判断概率建模发现的启发，我们提出句法对数几率比（SLOR），一种归一化语言模型分数，作为句子级自然语言生成输出无参考流畅度评估的度量。我们进一步引入 WPSLOR，一种基于 WordPiece 的新版本，其利用更紧凑的语言模型。尽管像 ROUGE 这样的词重叠度量是在人工撰写参考的辅助下计算的，我们的无参考方法在压缩句子基准数据集上与人流畅度分数获得了显著更高的相关性。最后，我们提出 ROUGE-LM，一种基于参考的度量，它是 WPSLOR 在可用参考情况下的自然扩展。我们表明 ROUGE-LM 比所有基线度量（包括单独的 WPSLOR）与人判断的相关性显著更高。
引用
@article{arxiv.1809.08731,
title = {Sentence-Level Fluency Evaluation: References Help, But Can Be Spared!},
author = {Katharina Kann and Sascha Rothe and Katja Filippova},
journal= {arXiv preprint arXiv:1809.08731},
year = {2018}
}
备注
Accepted to CoNLL 2018