HighRES：基于高亮的无需参考摘要评测方法
计算与语言
2019-06-05 v1
摘要
随着新颖且常为大规模的数据集的可用以及基于神经网络的近期进展，摘要研究取得了实质性进展。然而，由于该任务对人类非专家读者造成的困难，对系统生成摘要的人工评测并不一致。为解决此问题，我们提出了一种新的人工评测方法——基于高亮的无需参考摘要评测（HighRES），其中摘要由多名标注者根据源文档中人工高亮的显著内容对源文档进行评估。 thus 人类判断者对源文档的摘要评估得以简化，同时高亮内容可用于评估多个系统。为验证我们的方法，我们雇用众包工作者为近期提出的数据集添加高亮，并比较了两个最先进的系统。我们证明，与直接使用源文档相比，HighRES 提高了标注者间一致性，同时它们有助于强调在其他评测方法下会被忽略的系统间差异。
引用
@article{arxiv.1906.01361,
title = {HighRES: Highlight-based Reference-less Evaluation of Summarization},
author = {Hardy and Shashi Narayan and Andreas Vlachos},
journal= {arXiv preprint arXiv:1906.01361},
year = {2019}
}
备注
Accepted for ACL 2019