问答作为新闻文章摘要的自动评价指标
计算与语言
2019-06-04 v1 信息检索
摘要
近期在自动摘要与标题生成领域的工作集中于在各种新闻数据集上最大化 ROUGE 分数。我们提出了一种针对该任务的替代性、外在评价指标——用于摘要评价的问答性能（Answering Performance for Evaluation of Summaries, APES）。APES 利用阅读理解领域的近期进展，量化摘要回答一组关于源文章中核心实体的手工创建问题的能力。我们首先通过将本指标与已知的手动评价指标进行比较来分析其效力。随后我们提出了一个端到端的神经抽取式摘要模型，该模型在最大化 APES 的同时，将 ROUGE 分数提升至具有竞争力的水平。
引用
@article{arxiv.1906.00318,
title = {Question Answering as an Automatic Evaluation Metric for News Article Summarization},
author = {Matan Eyal and Tal Baumel and Michael Elhadad},
journal= {arXiv preprint arXiv:1906.00318},
year = {2019}
}
备注
Accepted to NAACL2019