BLEU 不适用于文本简化评价
计算与语言
2018-10-16 v1
摘要
BLEU 被广泛认为是文本到文本生成（包括文本简化（TS））的信息量指标。TS 同时包含词汇与结构两方面。在本文中我们表明，BLEU 不适用于句子拆分这一主要结构简化操作的评价。我们人工编制了一个包含多种结构复述的句子拆分黄金标准语料库，并与人工判断进行了相关性分析。我们发现，在涉及句子拆分时，BLEU 与语法性和意义保持参数之间相关性低或无相关性。此外，BLEU 常与简洁性呈负相关，本质上惩罚更简单的句子。
引用
@article{arxiv.1810.05995,
title = {BLEU is Not Suitable for the Evaluation of Text Simplification},
author = {Elior Sulem and Omri Abend and Ari Rappoport},
journal= {arXiv preprint arXiv:1810.05995},
year = {2018}
}
备注
Accepted to EMNLP 2018 (Short papers)