ReLU 神经网络的路径级解释

神经网络已展示出广泛的成功，但其“黑箱”本质引发了透明度和可靠性方面的顾虑。先前的 ReLU 网络研究试图基于所有隐藏单元的激活状态将这些网络解包为线性模型。本文引入一种新方法，考虑决策路径中参与的隐藏单元子集。该路径级解释提供了更清晰且更一致的理解输入与决策过程之间的关系。该方法还提供了在输入范围内调整解释范围的灵活性，即从整体归因输入到输入中特定组件。此外，它允许对给定输入的解释进行分解，以获得更详细的解释。实验表明，该方法在定量和定性方面均优于其他方法。