论摘要内容单元在文本摘要评估中的作用
计算与语言
2024-04-03 v1
摘要
文本摘要金字塔评估方法的核心是人工撰写的摘要内容单元（SCU）。这些SCU是将摘要分解为小事实的简洁句子。此类SCU可用于判断候选摘要的质量，可能通过自然语言推理（NLI）系统实现部分自动化。有趣的是，为了完全自动化金字塔评估，Zhang和Bansal（2021）表明SCU可以通过自动生成的语义角色三元组（STU）来近似。然而，目前有几个问题缺乏答案，特别是：i) 是否存在其他可以带来优势的SCU近似方法？ii) 在什么条件下SCU（或其近似）提供最大价值？在这项工作中，我们研究了两种新的SCU近似策略：分别从AMR意义表示（SMU）和大型语言模型（SGU）生成SCU近似。我们发现，虽然STU和SMU具有竞争力，但最佳的近似质量由SGU实现。我们还通过一个简单的句子分解基线（SSU）表明，SCU（及其近似）在对短摘要进行排序时提供最大价值，但在对系统或较长摘要进行排序时可能帮助不大。
引用
@article{arxiv.2404.01701,
title = {On the Role of Summary Content Units in Text Summarization Evaluation},
author = {Marcel Nawrath and Agnieszka Nowak and Tristan Ratz and Danilo C. Walenta and Juri Opitz and Leonardo F. R. Ribeiro and João Sedoc and Daniel Deutsch and Simon Mille and Yixin Liu and Lining Zhang and Sebastian Gehrmann and Saad Mahamood and Miruna Clinciu and Khyathi Chandu and Yufang Hou},
journal= {arXiv preprint arXiv:2404.01701},
year = {2024}
}
备注
10 Pages, 3 Figures, 3 Tables, camera ready version accepted at NAACL 2024