注意力流：通过故事摘要追踪LLM的概念性参与
计算与语言
2026-04-09 v1 人工智能
机器学习
摘要
尽管LLM的上下文长度已增长，但有证据表明其整合长文本信息的能力并未同步提升。我们评估了其中一项理解任务：生成小说摘要。当人类作者压缩故事时，他们揭示了自己认为叙事上重要的内容。因此，通过比较人类和LLM生成的摘要，我们可以评估模型是否反映了人类对文本的概念性参与模式。为衡量概念性参与，我们将150篇人类撰写的小说摘要中的句子与其引用的具体章节对齐。我们证明了对齐任务的难度，这表明了摘要作为一项任务的复杂性。随后，我们为150篇参考文本中的每一篇生成了九种最先进LLM的额外摘要并进行了对齐。比较人类和模型生成的摘要，我们发现了文本之间的风格差异以及人类和LLM在叙事中分配关注点方式的差异，模型更强调文本的结尾。将人类叙事参与与模型注意力机制进行比较，为叙事理解能力下降提供了可能的解释，并为未来改进指明了方向。我们发布数据集以支持未来研究。
引用
@article{arxiv.2604.06416,
title = {Attention Flows: Tracing LLM Conceptual Engagement via Story Summaries},
author = {Rebecca M. M. Hicke and Sil Hamilton and David Mimno and Ross Deans Kristensen-McLachlan},
journal= {arXiv preprint arXiv:2604.06416},
year = {2026}
}