跨编码器匹配机制理解
信息检索
2025-07-22 v1 机器学习
摘要
神经信息检索架构，尤其是跨编码器，虽然效果极佳，但其内部机制大多为人所知。目前大量研究聚焦于解释其行为的高层次过程（例如输入中哪些因素影响预测，模型是否遵循已知的 IR 公理），却未能描述匹配过程。我们演示了无需采用专注于解释神经模型隐藏机制的机械可解释性方法，更为直接的方法即可提供有价值的洞见。本文首先聚焦注意力过程，提取因果性洞见，凸显某些注意力头在该过程中的关键作用。其次，我们提供一种对匹配检测机制的解释。
引用
@article{arxiv.2507.14604,
title = {Understanding Matching Mechanisms in Cross-Encoders},
author = {Mathias Vast and Basile Van Cooten and Laure Soulier and Benjamin Piwowarski},
journal= {arXiv preprint arXiv:2507.14604},
year = {2025}
}
备注
Accepted at Workshop on Explainability in Information Retrieval at SIGIR 25 (WExIR25)