现代信息检索中位置偏见的实证研究
信息检索
2025-09-19 v5
摘要
本研究探讨信息检索中的位置偏见，即模型倾向于过度关注片段开头的内容，而忽略后续出现的语义相关信息。为分析位置偏见的范围与影响，我们引入了新的评估框架，包括两个位置感知检索基准（SQuAD-PosQ、FineWeb-PosQ）以及一种直观诊断指标——位置敏感度指数（PSI），用于从最坏情况视角量化位置偏见。我们对整个检索管道进行了全面评估，包括BM25、稠密嵌入模型、ColBERT风格的晚期交互模型以及全交互reranker模型。我们的实验表明，当相关信息出现在片段后部时，稠密嵌入模型和ColBERT风格模型会出现显著性能下降（平均下降15.6%）。相比之下，BM25和reranker模型对此类位置变动表现出更大的鲁棒性。这些发现为模型对相关信息位置的敏感性提供了实用见解，并为构建更具位置鲁棒性的检索系统提供了指导。代码和数据已公开于：https://github.com/NovaSearch-Team/position-bias-in-IR。
引用
@article{arxiv.2505.13950,
title = {An Empirical Study of Position Bias in Modern Information Retrieval},
author = {Ziyang Zeng and Dun Zhang and Jiacheng Li and Panxiang Zou and Yudong Zhou and Yuqing Yang},
journal= {arXiv preprint arXiv:2505.13950},
year = {2025}
}
备注
EMNLP 2025 Findings (camera-ready)