用于逆向工程神经检索模型相关性计算的公理化因果干预

神经模型在多样化的排序任务中显示出惊人的性能，但它们确定相关性的过程和内部机制仍然鲜为人知。现有的分析方法要么评估整体模型行为，要么采用探针方法可能提供不完整的因果机制理解。为了提供更细粒度的内部模型决策过程理解，我们提出使用因果干预来逆向工程神经排名器，并演示如何使用机制可解释性方法来隔离满足术语频率公理的组件。我们识别出一组注意力头用于检测模型早期层中的重复标记，然后与下游注意力头通信以计算整体文档相关性。更一般地，我们提出，这种机制分析风格为逆向工程神经检索模型用于计算相关性的过程开辟了道路。这一工作旨在启动细粒度的可解释性工作，这将不仅有助于检索模型的开发和训练，最终也有助于确保这些模型的更安全部署。