PCoA:基于短语级上下文归因的医学方面摘要新基准
计算与语言
2026-01-08 v1
摘要
验证系统生成的摘要仍然具有挑战性,因为有效的验证需要对源上下文进行精确归因,这在高风险医学领域尤为关键。为此,我们引入PCoA,这是一个针对医学方面摘要(带短语级上下文归因)的专家标注基准数据集。PCoA 将每个方面导向的摘要与其支持的上下文句子及其中贡献性短语进行对齐。我们进一步提出了一种细粒度、解耦的评估框架,独立评估生成摘要、引用和贡献性短语的质量。通过大量实验,我们验证了PCoA数据集和基准的质量与一致性,并在所提出的任务上对多种大型语言模型进行了基准测试。实验结果表明,PCoA为评估具有短语级上下文归因的系统生成摘要提供了可靠的基准。此外,比较实验表明,在摘要生成之前显式识别相关句子和贡献性短语可显著提高整体质量。该数据和代码已公开于 https://github.com/chubohao/PCoA。
引用
@article{arxiv.2601.03418,
title = {PCoA: A New Benchmark for Medical Aspect-Based Summarization With Phrase-Level Context Attribution},
author = {Bohao Chu and Sameh Frihat and Tabea M. G. Pakull and Hendrik Damm and Meijie Li and Ula Muhabbek and Georg Lodde and Norbert Fuhr},
journal= {arXiv preprint arXiv:2601.03418},
year = {2026}
}
备注
ACL 2026 Conference Submission (8 main pages)