SUPERT：面向多文档摘要无监督评测指标的新前沿
计算与语言
2020-05-11 v1 信息检索
摘要
我们研究无监督多文档摘要评测指标，其既不需要人工撰写的参考摘要，也不需要人工标注（如偏好、评分等）。我们提出 SUPERT，其通过上下文嵌入与软词对齐技术，度量摘要与伪参考摘要（即从源文档中选取的显著句子）的语义相似度来评价摘要质量。相较于最先进的无监督评测指标，SUPERT 与人类评分的相关性提升了 18–39%。此外，我们将 SUPERT 作为奖励引导基于神经网络的强化学习摘要器，相较于最先进的无监督摘要器取得了更优性能。所有源代码见 https://github.com/yg211/acl20-ref-free-eval。
引用
@article{arxiv.2005.03724,
title = {SUPERT: Towards New Frontiers in Unsupervised Evaluation Metrics for Multi-Document Summarization},
author = {Yang Gao and Wei Zhao and Steffen Eger},
journal= {arXiv preprint arXiv:2005.03724},
year = {2020}
}
备注
ACL 2020