基于柔性激活函数的神经网络可扩展局部可解释性
机器学习
2020-06-12 v1 人工智能
机器学习
摘要
在黑盒深度学习算法中实现透明性仍是一项开放挑战。深度神经网络（NN）给出的高维特征与决策需要新算法与方法来揭示其机制。当前最先进的 NN 解释方法（如显著图、DeepLIFT、LIME 等）更多关注 NN 输出与输入之间的直接关系，而非 NN 结构及其运算本身。在当前深度 NN 运算中，具有固定激活函数的神经元所扮演的确切角色存在不确定性。本文中，我们通过在可扩展拓扑下对激活函数（AF）的作用进行符号化解释，实现了局部可解释学习模型。这是通过将 AF 建模为自适应高斯过程（GP）来实现的，GP 位于基于 Kolmogorov-Arnold 叠加定理（KST）的新颖可扩展 NN 拓扑中。在该可扩展 NN 架构中，AF 由控制点间的 GP 插值生成，因而可在反向传播过程中通过梯度下降进行调优。控制点充当 AF 局部与全局可调性的核心使能器，其中 GP 插值约束内在自相关以避免过拟合。我们表明，在线性 KST 拓扑缩放下，NN 的表达能力与解释复杂度之间存在权衡。为展示这一点，我们在钞票认证二分类数据集上进行了案例研究。通过定量与定性地考察输入与输出间的映射关系，我们的可解释模型能对各个一维属性提供解释。这些早期结果表明，我们的模型有潜力作为深度神经网络的最终解释层。
引用
@article{arxiv.2006.06057,
title = {Scalable Partial Explainability in Neural Networks via Flexible Activation Functions},
author = {Schyler C. Sun and Chen Li and Zhuangkun Wei and Antonios Tsourdos and Weisi Guo},
journal= {arXiv preprint arXiv:2006.06057},
year = {2020}
}