神经元排序——一种压缩卷积神经网络架构的知情方法
机器学习
2019-07-16 v2 机器学习
摘要
卷积神经网络（CNN）近年来对科学、技术与工业产生了巨大影响，然而 CNN 架构设计的理论机制仍出奇模糊。CNN 神经元（包括其独特元素卷积滤波器）已知为可学习特征，但它们在产生输出中的个体作用却相当不清楚。本工作的论点是并非所有神经元都同等重要，其中一些包含更多有用信息以执行给定任务。因此，我们量化每个滤波器的重要性并排序其在描述输入以产生期望输出中的重要性。本工作提出两种不同方法：（1）基于 Shapley 值的博弈论方法，计算各滤波器的边际贡献；（2）基于我们所称的重要性开关（Importance switch）并使用变分推断的概率方法。引人注目的是，这两种迥异的方法产生相似的实验结果，证实了某些滤波器天生比其他滤波器更重要的普遍理论。学习到的排序可直接用于网络压缩与可解释性。
引用
@article{arxiv.1907.02519,
title = {Neuron ranking -- an informed way to condense convolutional neural networks architecture},
author = {Kamil Adamczewski and Mijung Park},
journal= {arXiv preprint arXiv:1907.02519},
year = {2019}
}