位置偏差缓解位置偏差：通过跨位置知识蒸馏来缓解位置偏差
计算与语言
2025-09-18 v2
摘要
位置偏差 (PB)，表现为不同语境位置上的非均匀灵敏度，显著损害长上下文理解与处理能力。以往研究要么修改底层架构，要么采用大规模语境感知训练来解决 PB。然而，前者未能有效消除显著的性能差异，后者则带来显著的数据和计算开销。为有效解决 PB，我们引入了 \textbf{Pos2Distill}——一种位置到位置知识蒸馏框架。Pos2Distill 利用有利位置的优势能力转移到不利位置，从而缩小显著的性能差距。其核心思想是利用固有的、由位置引起的差异来抵消 PB 本身。我们识别了 PB 在 \textbf{\textsc{r}}etrieval 和 \textbf{\textsc{r}}easoning 范式下的不同表现，因而设计了两个专门实例：\emph{Pos2Distill-R\textsuperscript{1}} 和 \emph{Pos2Distill-R\textsuperscript{2}}，均基于这一核心原则。通过 Pos2Distill 方法，我们实现了所有语境位置在长上下文检索和推理任务中的均匀性提升和显著性能提升。关键的是，两种专门系统在互相跨任务上都表现出强大的泛化能力，同时在各自任务上取得优异性能。
引用
@article{arxiv.2508.15709,
title = {Position Bias Mitigates Position Bias:Mitigate Position Bias Through Inter-Position Knowledge Distillation},
author = {Yifei Wang and Feng Xiong and Yong Wang and Linjing Li and Xiangxiang Chu and Daniel Dajun Zeng},
journal= {arXiv preprint arXiv:2508.15709},
year = {2025}
}
备注
EMNLP 2025 Oral