WIDAR——基于加权输入文档增强的ROUGE
计算与语言
2022-01-25 v1
摘要
由于机器学习技术的近期进展，自动文本摘要任务获得了大量关注。然而，评估生成摘要的质量仍是一个开放问题。文献已广泛采用面向召回的摘要评估替补（ROUGE）作为摘要的标准评估指标。然而，ROUGE存在一些长期存在的局限；其中一个主要局限是其依赖于高质量参考摘要的可用性。在这项工作中，我们提出指标WIDAR，其在利用参考摘要之外还使用输入文档来评估生成摘要的质量。所提指标具有通用性，因其被设计为依据参考摘要的质量调整评估分数。所提指标在SummEval数据集提供的人类判断分数上，于连贯性、一致性、流畅性和相关性方面分别比ROUGE相关性高出26%、76%、82%和15%。所提指标能够与其他最先进指标取得可比结果，同时所需计算时间相对较短。
引用
@article{arxiv.2201.09282,
title = {WIDAR -- Weighted Input Document Augmented ROUGE},
author = {Raghav Jain and Vaibhav Mavi and Anubhav Jangra and Sriparna Saha},
journal= {arXiv preprint arXiv:2201.09282},
year = {2022}
}
备注
Manuscript Accepted as full paper in ECIR 2022