PECAN：面向长文档问答的LLM引导动态进度控制与注意力引导分层加权图
计算与语言
2025-06-10 v2
摘要
长文档问答面临着大规模文本和长距离依赖的挑战。大型语言模型（LLM）的最新进展使得能够一次性处理整个文档。然而，它们的计算成本非常高。检索增强生成（RAG）方法将文本分割成更小的块，但通常会产生较差的结果，并可能丢失全局上下文。最近通过迭代摘要将LLM集成到RAG中的方法，要么未能充分利用LLM的能力，要么仍然会产生高昂的计算成本。在本文中，我们结合了LLM的高精度和RAG的高效率，提出了基于注意力分层加权图的LLM引导动态进度控制（PECAN）。我们的方法引入了两个关键改进：（1）LLM引导的动态进度控制：我们利用LLM动态控制检索过程，根据不同的查询调整检索信息的数量，以实现效果和效率的更好平衡。（2）注意力引导检索：我们提出了一种新颖的检索方法，该方法构建了一个分层图，其中的边由LLM注意力权重导出。实验结果表明，在两个单文档和两个多文档问答数据集上，PECAN在保持与RAG方法相当的计算复杂度的同时，实现了LLM级别的性能。
引用
@article{arxiv.2410.04790,
title = {PECAN: LLM-Guided Dynamic Progress Control with Attention-Guided Hierarchical Weighted Graph for Long-Document QA},
author = {Xinyu Wang and Yanzheng Xiang and Lin Gui and Yulan He},
journal= {arXiv preprint arXiv:2410.04790},
year = {2025}
}