SacreROUGE:一个用于使用与开发摘要评测指标的开源库
计算与语言
2020-07-13 v1
摘要
我们提出SacreROUGE,一个用于使用与开发摘要评测指标的开源库。SacreROUGE消除了研究者在选用或开发指标时面临的诸多障碍:(1)该库为已有评测指标的官方实现提供Python封装,使它们共享通用且易用的接口;(2)它提供功能以评估库中实现的任一指标与人类标注判断的相关性,因此为新评测指标无需编写额外代码;(3)它包含用于加载含人类判断的数据集的脚本,以便轻松用于评测。本文描述该库的设计,包括核心Metric接口、用于评测摘要模型与指标的命令行API,以及用于加载与重整公开可用数据集的脚本。SacreROUGE的开发仍在进行中,并开放给社区贡献。
引用
@article{arxiv.2007.05374,
title = {SacreROUGE: An Open-Source Library for Using and Developing Summarization Evaluation Metrics},
author = {Daniel Deutsch and Dan Roth},
journal= {arXiv preprint arXiv:2007.05374},
year = {2020}
}