分析神经网络拓扑结构：一种博弈论方法
人工智能
2019-04-18 v1 计算机科学与博弈论
摘要
人工神经网络在非常不同的应用案例中已展现出令人印象深刻的成效。选择合适的网络架构是网络成功的关键决策，通常以手动方式完成。作为一种直接策略，人们选择大型的、多为全连接的架构，从而依赖良好的优化策略来寻找合适的权重，同时避免过拟合。然而，最终网络的大部分都是冗余的。在最好情况下，网络的大部分对于后续推理变得无关紧要。在最坏情况下，高度参数化的架构阻碍 proper 优化，并允许轻易构造欺骗网络的对抗样本。移除无关架构部分的第一步在于识别这些部分，这需要度量单个组件（如神经元）的贡献。在先前工作中，基于使用神经元权重分布作为贡献度量的启发式方法已显示出一定成效，但未能提供恰当的理论理解。因此，在我们的工作中，我们研究博弈论度量，即 Shapley 值（SV），以分离人工神经网络中相关与无关的部分。我们首先为人工神经网络设计一个联盟博弈，其中神经元形成联盟，神经元对联盟的平均贡献得出 Shapley 值。为度量 Shapley 值衡量单个神经元贡献的效果，我们移除低贡献神经元并测量其对网络性能的影响。在我们的实验中，我们表明 Shapley 值在度量神经元贡献方面优于其他启发式方法。
引用
@article{arxiv.1904.08166,
title = {Analysing Neural Network Topologies: a Game Theoretic Approach},
author = {Julian Stier and Gabriele Gianini and Michael Granitzer and Konstantin Ziegler},
journal= {arXiv preprint arXiv:1904.08166},
year = {2019}
}