淘金策略：面向大海捞针推理的上下文战略性重排

大型语言模型（LLM）在长上下文大海捞针问题中表现出显著的位置偏差，系统性地优先考虑信息的位置而非其相关性。虽然当前的缓解措施依赖于白盒访问，但这对于许多最先进的模型来说实际上是不可能的。我们引入了GOLD PANNING，一个黑盒贝叶斯框架，通过以下方式在推理时对长上下文进行主动搜索：(i) 重新排序文档，将高置信度项目集中在高诊断性位置（信号锚定），以及 (ii) 根据模型输出更新文档相关性的信念。与优先考虑不确定性减少的传统主动学习不同，GOLD PANNING利用锚定——一旦标记，就保持可见——来保留弱线索。我们使用从模型诊断性分布导出的迭代分配来实现这一点，该分配可证明在$O(\log N)$轮次内从$N$个文档中识别出目标，确保了对多文档场景的可扩展性。在大海捞针检索和长上下文问答中，GOLD PANNING以比排列自一致性少30-65%的查询次数匹配其目标识别能力，并且在校准不匹配的情况下仍然有效，这表明粗略的位置排序驱动了性能提升。这些结果表明，固有的模型偏差不一定是失败，而是可以成为控制的工具。