基于聚类的深度 ReLU 网络解释方法
机器学习
2021-10-14 v1 机器学习
摘要
除其他因素外，修正线性单元（ReLUs）的采用被视为深度学习成功的原因之一。ReLU 激活已被证明能缓解梯度消失问题、促使所学参数稀疏化，并允许高效的反向传播。在本文中，我们认识到 ReLU 函数的非线性行为在考虑活跃神经元的模式时会产生一种自然的聚类。该观察有助于深化网络的学习机制；事实上，我们证明在每个聚类内部，网络可完全表示为一个仿射映射。其结果是，我们能够以特征重要性的形式为网络对属于该聚类的实例所做的预测恢复出一种解释。因此，我们所提出的方法能够在不改变网络结构的情况下，在模型拟合阶段之后，提升全连接前馈 ReLU 神经网络的可解释性。一项模拟研究以及对 Titanic 数据集的实证应用，展示了该方法在缩小算法优化与黑盒深度 ReLU 网络的人类可理解性之间差距的能力。
关键词
引用
@article{arxiv.2110.06593,
title = {Clustering-Based Interpretation of Deep ReLU Network},
author = {Nicola Picchiotti and Marco Gori},
journal= {arXiv preprint arXiv:2110.06593},
year = {2021}
}