文本简化系统的无参考质量评估
计算与语言
2019-01-31 v1
摘要
文本简化（TS）系统的评估仍是一项开放性挑战。由于该任务与机器翻译（MT）有共同点，TS 常使用 BLEU 等 MT 指标进行评估。然而，此类指标需要高质量的参考数据集，而 TS 中很少能获得。与 MT 相比，TS 的优势在于其为单语任务，从而允许在简化文本与其原始版本之间直接进行比较。本文中，我们基于 QATS 2016 共享任务所使用的数据集，比较了多种用于句子级文本简化系统无参考质量评估的方法。我们区分了三个不同维度：语法性、语义保持性和简洁性。我们表明，基于 n-gram 的 MT 指标（如 BLEU 和 METEOR）与人工判定的语法性和语义保持性相关性最强，而简洁性最好由基于长度的基本指标来评估。
引用
@article{arxiv.1901.10746,
title = {Reference-less Quality Estimation of Text Simplification Systems},
author = {Louis Martin and Samuel Humeau and Pierre-Emmanuel Mazaré and Antoine Bordes and Éric Villemonte de La Clergerie and Benoît Sagot},
journal= {arXiv preprint arXiv:1901.10746},
year = {2019}
}