通过对偶性显化深度神经网络的隐式可解释性
机器学习
2022-03-31 v1
摘要
Lakshminarayanan 与 Singh [2020] 近期的工作为带修正线性单元（ReLU）的全连接深度神经网络（DNN）提供了一种对偶视角。研究表明：（i）门中的信息可由称为神经路径核（NPK）的核解析刻画；（ii）最关键的信息在门中学习得到，即给定学习到的门后，权重可从零重新训练而不会显著损失性能。利用该对偶视角，本文重新思考对 DNN 的常规解释，从而显化 DNN 的隐式可解释性。为此，我们首先展示新的理论性质，即分别在卷积层和跳跃连接存在下的 NPK 的旋转不变性与集成结构。我们的理论带来了两个挑战传统认知的惊人实证结果：（i）即便以常数 1 作为输入也可训练权重；（ii）门控掩码可被打乱而不会显著损失性能。这些结果催生了一类我们称为深度线性门控网络（DLGN）的新网络。DLGN 利用对偶提升现象，相较于常规解释，为更直接且更简单地解释 DNN 铺平了道路。我们通过 CIFAR-10 与 CIFAR-100 上的大量实验表明，这些 DLGN 带来了更好的可解释性-准确率权衡。
引用
@article{arxiv.2203.16455,
title = {Explicitising The Implicit Intrepretability of Deep Neural Networks Via Duality},
author = {Chandrashekar Lakshminarayanan and Amit Vikram Singh and Arun Rajkumar},
journal= {arXiv preprint arXiv:2203.16455},
year = {2022}
}
备注
18 pages, 9 Figures. arXiv admin note: text overlap with arXiv:2110.03403