神经网络中的Shapley解释与激活
机器学习
2019-09-18 v2 机器学习
神经与进化计算
摘要
我们提出了一种新颖的Shapley值方法，以帮助解决神经网络的可解释性与“梯度消失”问题。我们的方法基于对具有ReLU激活的神经元Shapley值的精确解析近似。该解析近似允许相关性在神经网络层间的线性传播，从而产生一种简单、快速且合理的神经网络决策过程解释。随后我们推导了全局连续且非消失的Shapley梯度，其可替代常规梯度用于训练具有ReLU激活的神经网络层，并带来更好的训练性能。我们进一步推导了Shapley激活（SA）函数，其为ReLU的紧密近似但具备Shapley梯度。SA易于在现有机器学习框架中实现。数值测试表明，SA在训练收敛性、准确性与稳定性上始终优于ReLU。
引用
@article{arxiv.1909.06143,
title = {Shapley Interpretation and Activation in Neural Networks},
author = {Yadong Li and Xin Cui},
journal= {arXiv preprint arXiv:1909.06143},
year = {2019}
}
备注
11 pages, 7 figures