MaskEval:基于加权MLM的文本摘要与简化评估方法
计算与语言
2022-10-14 v2
摘要
在文本摘要与简化中,系统输出必须沿相关性、事实一致性、流畅度和语法性等多个维度进行评估,且大量可能输出均可能具有高质量。这些特性使得开发一种自适应、无参考的评估指标既必要又具挑战性。我们提出MaskEval,一种用于文本摘要与简化的无参考指标,其通过对候选文本与源文本拼接结果执行掩码语言建模(MLM)来运作。它具备一种类注意力的加权机制以调节各MLM步骤的相对重要性,这使其关键地能够适应于评估不同质量维度。我们证明了其在英语摘要与简化上相对于人类判断相关性的有效性,并探索了两项任务间的迁移场景。
引用
@article{arxiv.2205.12394,
title = {MaskEval: Weighted MLM-Based Evaluation for Text Summarization and Simplification},
author = {Yu Lu Liu and Rachel Bawden and Thomas Scialom and Benoît Sagot and Jackie Chi Kit Cheung},
journal= {arXiv preprint arXiv:2205.12394},
year = {2022}
}