消除语言模型位置偏差：一种机制方法

位置偏差已被证明是现代语言模型（LM）的常见问题，即模型优先考虑上下文中内容的位置。这一偏差常导致意外的模型失效，并损害各种应用中的性能、鲁棒性和可靠性。我们的机制性分析将位置偏差归因于近乎所有最先进语言模型所采用的两种组件：因果注意力和相对位置编码。基于分析，我们提出一种无需训练的零样本方法来消除位置偏差（例如，QA中不同检索文档的顺序会影响性能）。该方法将因果注意力更改为文档之间的双向注意力，并利用模型注意力值来决定文档的相对顺序，而不是使用输入提示中提供的顺序，从而实现文档级别的位置无关推理（Position-INvariant inferencE, PINE）。通过消除位置偏差，模型在下游任务中实现更好的性能和可靠性，包括 LM-as-a-judge、检索增强问答、分子生成和数学推理。在评估推理配对时，PINE特别有用：它在RewardBench推理集合上 consistently 提供8至10个百分点的性能提升，使Llama-3-70B-Instruct在GPT-4-0125-preview和GPT-4o-2024-08-06上表现更佳。