PathFinder：深度神经网络中决策路径的发现
机器学习
2022-10-04 v1
摘要
可解释性正成为深度神经网络日益重要的课题。尽管卷积层的操作较易理解，但在全连接层中处理过程变得不透明。我们工作的基本思想是：每个样本在流经各层时，会在隐藏层中引发不同的激活模式；在我们的Paths方法中，我们对每一隐藏层的这些激活向量进行聚类，然后观察随着激活从输入层流向输出层，连续各层中的聚类如何彼此连接。我们发现同一类的样本在层间遵循少数几条聚类序列，我们称之为“决策路径”。此类路径解释了分类决策通常如何做出，并帮助我们确定遵循异常路径的样本外点。我们还提出使用桑基图来可视化此类路径。我们在两个分别训练于MNIST和CELEB数据集的前馈网络，以及一个训练于PenDigits的循环网络上通过实验验证了我们的方法。
引用
@article{arxiv.2210.00319,
title = {PathFinder: Discovering Decision Pathways in Deep Neural Networks},
author = {Ozan İrsoy and Ethem Alpaydın},
journal= {arXiv preprint arXiv:2210.00319},
year = {2022}
}