ARC：面向遵循指令的 LLM 零样本长文档摘要的论点表示与覆盖分析
计算与语言
2026-02-03 v2
摘要
我们引入了论点表示覆盖（ARC），这是一个自底向上的评估框架，用于评估摘要对显著论点的保留程度，这是法律等高风险领域摘要中的关键问题。ARC 通过区分待覆盖的不同信息类型，并将遗漏与事实错误分离开来，提供了一个可解释的视角。利用 ARC，我们评估了来自八个开放权重大型语言模型在两个以论点角色为核心的领域的摘要：长篇法律意见书和科学文章。我们的结果表明，尽管这些模型捕获了一些显著角色，但它们经常遗漏关键信息，特别是当论点在输入中稀疏分布时。此外，ARC 揭示了系统性模式，展示了上下文窗口位置偏差和特定角色的偏好如何影响论点覆盖，并为开发更完整、更可靠的摘要策略提供了可操作的指导。
引用
@article{arxiv.2505.23654,
title = {ARC: Argument Representation and Coverage Analysis for Zero-Shot Long Document Summarization with Instruction Following LLMs},
author = {Mohamed Elaraby and Diane Litman},
journal= {arXiv preprint arXiv:2505.23654},
year = {2026}
}