OpenAsp：面向多文档开放方面摘要的基准
计算与语言
2023-12-08 v1
摘要
自动摘要模型的性能近年来显著提升。然而，在满足真实场景中用户的特定信息需求方面仍存在差距，特别是当需要针对性摘要时，例如本文所针对的有用的基于方面的摘要设置。先前针对该设置的数据集和研究主要集中在有限的预定义方面集上，仅关注单文档输入，或依赖合成数据。为了推动更现实场景的研究，我们引入了OpenAsp，一个用于多文档开放方面摘要的基准。该基准通过一种新颖且经济高效的注释协议创建，通过该协议，从现有的通用多文档摘要数据集中衍生出开放方面数据集。我们分析了OpenAsp的属性，展示了其高质量内容。此外，我们表明OpenAsp中实现的现实开放方面设置对当前最先进的摘要模型以及大型语言模型构成了挑战。
引用
@article{arxiv.2312.04440,
title = {OpenAsp: A Benchmark for Multi-document Open Aspect-based Summarization},
author = {Shmuel Amar and Liat Schiff and Ori Ernst and Asi Shefer and Ori Shapira and Ido Dagan},
journal= {arXiv preprint arXiv:2312.04440},
year = {2023}
}
备注
EMNLP 2023