通过动态笔记编写增强大语言模型的推理能力用于复杂问答
计算与语言
2025-05-23 v1
摘要
迭代检索增强生成（Iterative RAG）用于多跳问答面临上下文长度和无关信息堆积的挑战。这限制了模型处理和推理检索内容的能力，并限制了性能。虽然近期方法侧重于压缩检索信息，但它们要么受限于单轮 RAG，要么需要微调，要么在迭代 RAG 中缺乏可扩展性。为此，我们提出了笔记编写（Notes Writing）方法，该方法在每个步骤从检索文档生成简洁且相关的笔记，从而减少噪声并仅保留关键信息。这种做法间接增加了大型语言模型（LLM）的有效上下文长度，使其在处理更大体量输入文本时能够更有效地进行推理和规划。笔记编写是框架无关的，可集成到不同的迭代 RAG 方法中。我们在三个迭代 RAG 方法、两个模型和四个评估数据集上展示了其有效性。笔记编写总体平均提升了15.6个百分点，同时对输出标记数影响最小。
引用
@article{arxiv.2505.16293,
title = {Augmenting LLM Reasoning with Dynamic Notes Writing for Complex QA},
author = {Rishabh Maheshwary and Masoud Hashemi and Khyati Mahajan and Shiva Krishna Reddy Malay and Sai Rajeswar and Sathwik Tejaswi Madhusudhan and Spandana Gella and Vikas Yadav},
journal= {arXiv preprint arXiv:2505.16293},
year = {2025}
}