IR 中哪些神经元最重要？应用集成梯度方法理解 Cross-Encoder
信息检索
2024-07-08 v2
摘要
随着检索增强生成 (RAG) 的近期添加，信息检索 (IR) 的范围和重要性不断扩大。因此，对 IR 模型内部机制的更深入理解的重要性也日益增加。然而，IR 领域的可解释性仍未得到充分探索，尤其是针对模型内部机制。本文我们探索了在 IR 语境中应用集成梯度方法的可能性，以识别模型中单个神经元的作用。在 particular 上，我们对我们所称的"相关性"神经元的作用提供了新的见解，以及它们如何处理未见数据的方法。最后，我们进行深入的修剪研究来验证我们的发现。
引用
@article{arxiv.2406.19309,
title = {Which Neurons Matter in IR? Applying Integrated Gradients-based Methods to Understand Cross-Encoders},
author = {Mathias Vast and Basile Van Cooten and Laure Soulier and Benjamin Piwowarski},
journal= {arXiv preprint arXiv:2406.19309},
year = {2024}
}
备注
Accepted at ICTIR 2024