记不住长文档中的细节？你需要一些 R&R

长上下文大型语言模型 (LLMs) 在长文档问答 (QA) 等任务中展现出前景，但它们往往会遗漏上下文文档中间的重要信息 (arXiv:2307.03172v3)。在此，我们引入 \textit{R&R}——一种结合了两种新颖基于提示的方法（即 $\textit{reprompting}$ 和 $\textit{in-context retrieval}$ (ICR)）的策略，以缓解基于文档的 QA 中的这种效应。在 reprompting 中，我们在整个上下文文档中周期性地重复提示指令，以提醒 LLM 其原始任务。在 ICR 中，我们不是指示 LLM 直接回答问题，而是指示其检索与给定问题最相关的前 $k$ 个段落编号，然后将这些段落用作第二个 QA 提示中的缩写上下文。我们在长达 80k token 的文档上使用 GPT-4 Turbo 和 Claude-2.1 测试了 R&R，观察到 QA 准确率平均提高了 16 个百分点。我们的进一步分析表明，R&R 之所以能提升长文档 QA 的性能，是因为它缩短了相关上下文与指令之间的距离。最后，我们表明，与短上下文分块方法相比，R&R 允许使用更大的分块，从而减少 LLM 调用次数和输出 token 数量，同时最小化准确率的下降。