小型语言模型的计划引导式摘要探索：叙事文本的案例研究
计算与语言
2025-08-25 v2
摘要
计划引导式摘要旨在通过将生成的摘要锚定到源文本来减少小型语言模型(SLMs)中的幻觉，通常通过针对日期或专有名词等细粒度细节来实现。本文探讨了计划方法在 SLMs 中改进长文档叙事任务摘要的效果。叙事文本的长度和复杂性往往导致其难以忠实地进行摘要。我们分析了针对细粒度细节的现有计划引导方案，也提出了自己的更高层次的叙事方法计划。我们的结果表明，无论是摘要质量还是忠实度，哪种计划方法都未相对于无计划基线显著提升。人类评估显示，计划引导方法虽然常常受益于其计划，但计划与摘要一样可能包含幻觉。因此，计划引导式摘要与无计划模型的摘要一样不够忠实。我们的工作为针对叙事文本等长期复杂领域的计划引导式摘要方法提供了警示。代码已公开于 https://github.com/amazon-science/plan-guided-summarization
引用
@article{arxiv.2504.09071,
title = {Exploration of Plan-Guided Summarization for Narrative Texts: the Case of Small Language Models},
author = {Matt Grenander and Siddharth Varia and Paula Czarnowska and Yogarshi Vyas and Kishaloy Halder and Bonan Min},
journal= {arXiv preprint arXiv:2504.09071},
year = {2025}
}
备注
Accepted to the 7th Workshop on Narrative Understanding (WNU), co-located with NAACL 2025