填补BLANC：无人工参与的文档摘要质量估计
计算与语言
2020-11-13 v2
摘要
我们提出BLANC，一种文档摘要质量自动估计的新方法。我们的目标是以客观、可复现且完全自动化的方法衡量摘要的功能性表现。我们的方法通过测量预训练语言模型在获取文档摘要后、对该文档文本执行语言理解任务时所获得的性能提升来实现这一点。我们提供的证据表明，BLANC分数与人类评估的相关性不亚于ROUGE系列摘要质量度量。且与ROUGE不同，BLANC方法不需要人工撰写的参考摘要，从而实现了完全无人工参与的摘要质量估计。
引用
@article{arxiv.2002.09836,
title = {Fill in the BLANC: Human-free quality estimation of document summaries},
author = {Oleg Vasilyev and Vedant Dharnidharka and John Bohannon},
journal= {arXiv preprint arXiv:2002.09836},
year = {2020}
}
备注
10 pages, 9 figures, 3 tables. In: Proceedings of the First Workshop on Evaluation and Comparison of NLP Systems (Eval4NLP, Nov. 2020) p.11-20, ACL