诊断和缓解长视野搜索中的上下文腐烂

随着大型语言模型(LLMs)越来越多地部署在长视野任务中，广泛上下文已成为常态。上下文长度增加会降低模型能力，即所谓的上下文腐烂，已成为这些应用的核心问题。在本文中，我们专注于深度搜索场景，旨在研究腐烂现象及其缓解策略。通过在三个基准上评估四个旗舰开源模型，我们揭示了一个普遍但未被注意的腐烂现象：广泛的上下文导致模型直接放弃或过早提供不确定的答案，并且随着上下文的增长，这个问题会加剧。通过剪枝实验，我们证明了累积上下文与腐烂现象之间的关系。此外，我们研究了通过上下文管理和事后拒绝采样来缓解这个问题。对于上下文管理，我们基于性能、成本和对上下文腐烂的影响，系统评估了三个类别的七种不同方法，为策略选择和用法提供了明确的指导。对于拒绝采样，我们开发了一种腐烂感知的过滤策略，并证明了其在三种聚合方法中的有效性。最后，我们表明这两种方法可以结合以进一步提高性能。