因果相生：基于层次化概念的神神经网络解释

在许多场景中，人类决策基于某些高层概念进行解释。在这项工作中，我们通过将神经网络的内部表示或神经元激活与概念进行比对，在神经网络可解释性方面迈出一步。一个概念由一组具有共同特定特征的样本刻画。我们提出一个框架，用于检验某一概念（或其否定）与任务类别之间是否存在因果关系。先前的方法聚焦于概念对任务类别的重要性，我们更进一步，引入四种度量来定量确定因果次序。此外，我们提出一种以基于概念的决策树形式构建概念层次结构的方法，其可阐明各种概念在神经网络内部如何相互作用以预测输出类别。通过实验，我们证明了所提方法在解释概念与神经网络预测行为之间因果关系以及通过构建概念层次确定不同概念间相互作用方面的有效性。