通往相关性之路：交叉编码器如何实现BM25的语义变体
信息检索
2025-11-25 v3 人工智能
摘要
机制可解释性极大地促进了对生成式语言模型更细致的理解，使得在识别通过内部组件交互实现关键行为的结构方面取得了显著进展。相比之下，信息检索（IR）领域的可解释性仍然相对粗粒度，关于IR模型如何确定一个文档是否与查询相关，仍有许多未知之处。在这项工作中，我们通过对一种常用模型——交叉编码器——进行机制分析，以估计相关性，从而弥补这一空白。我们发现，该模型在早期到中间层提取了传统的相关性信号，如词频和逆文档频率。这些概念随后在更深的层中被组合，类似于著名的概率排序函数BM25。总体而言，我们的分析为IR模型如何计算相关性提供了更细致的理解。分离这些组件为未来的干预措施奠定了基础，这些干预措施可以增强透明度、降低安全风险并提高可扩展性。
引用
@article{arxiv.2502.04645,
title = {Pathway to Relevance: How Cross-Encoders Implement a Semantic Variant of BM25},
author = {Meng Lu and Catherine Chen and Carsten Eickhoff},
journal= {arXiv preprint arXiv:2502.04645},
year = {2025}
}