复制并扩展神经排序器中术语频率计算的因果洞察

神经排序模型在文档检索、重新排序、问答和对话检索等各种任务中表现突出。然而，这些模型的内部决策过程仍 largely 不清晰，尤其是当模型规模增大时。大多数可解释性方法，如探针技术，关注的是相关性洞察，而非建立因果关系。Chen 等人发表的论文《Axiomatic Causal Interventions for Reverse Engineering Relevance Computation in Neural Retrieval Models》通过引入用于激活修补的框架——一种因果可解释性方法——在信息检索领域提供了关于神经检索模型如何计算文档相关性的见解。该研究表明，神经排序模型不仅捕获术语频率信息，而且这些表示可以局部化到特定模型组件，如单个注意力头或层。本文旨在复制 Chen 等人的发现，并进一步探讨神经 IR 模型中预定义检索公理的存在。我们验证了 Chen 等人的主要论点，并扩展了框架以包括一个额外的术语频率公理：即查询术语频率对文档排序的影响随频率升高而减弱。我们成功识别了编码该公理的注意力头群，并分析了其行为以提供关于神经排序模型内部决策过程的见解。