AWESOME：利用记忆机制与全局显著内容在GPU内存受限下进行长文档摘要
计算与语言
2023-11-17 v2
摘要
长文档摘要系统对于具有冗长且充满行话文本的领域至关重要，然而它们对计算资源有限的研究人员和开发者提出了重大挑战。现有方案主要聚焦于高效注意力机制或分而治之策略。前者降低了理论时间复杂度，但仍占用大量内存。后者方法牺牲了全局上下文，导致生成信息量不足且不连贯的摘要。本工作旨在利用分而治之方法的内存高效特性，同时保留全局上下文。具体而言，我们的框架AWESOME使用了两种新颖机制：(1) 外部记忆机制跟踪先前编码的文档片段及其对应摘要，以增强全局文档理解和摘要连贯性。(2) 事先进一步识别全局显著内容，以扩充每个文档片段，支持其摘要生成。在政府报告、转录文本、科学论文和小说等多样文本类型上的大量实验表明，AWESOME在更长文档上生成的摘要在信息量、忠实度和连贯性方面优于具有竞争力的基线方法，同时具有更小的GPU内存占用。
引用
@article{arxiv.2305.14806,
title = {AWESOME: GPU Memory-constrained Long Document Summarization using Memory Mechanism and Global Salient Content},
author = {Shuyang Cao and Lu Wang},
journal= {arXiv preprint arXiv:2305.14806},
year = {2023}
}