使用剪枝逐层相关性传播的神经网络稀疏解释

可解释性是涉及深度神经网络（DNN）的许多应用中的关键组成部分。然而，当前DNN的解释方法通常将区分相关解释与虚假噪声的任务留给人类观察者。当从图像等易于人类访问的数据转向基因组序列等更复杂的数据时，这不再可行。为了促进从这类复杂数据中获取DNN输出的可访问性并提高可解释性，我们提出了一种对广泛使用的解释方法——逐层相关性传播的改进。我们的方法通过直接剪枝不同层的相关性传播来强制实现稀疏性。由此，我们为输入特征以及中间层获得了更稀疏的相关性归因。由于相关性传播是输入特定的，我们的目标是剪枝相关性传播，而不是底层模型架构。这允许针对不同输入剪枝不同的神经元，因此可能更适合解释方法的局部性质。为了证明我们方法的有效性，我们在两种类型的数据上进行了评估：图像和基因组序列。我们表明，与基线相比，我们的改进确实减少了噪声，并将相关性集中在最重要的特征上。