MINT：基于互信息的神经元修剪实现深度网络压缩
机器学习
2020-03-20 v1 计算机视觉与模式识别
信息论
math.IT
摘要
大多数通过剪枝进行深度神经网络压缩的方法要么利用滤波器权重评估其重要性，要么优化带稀疏约束的替代目标函数。尽管这些方法为近似相似滤波器的贡献提供了有用途径，它们往往要么忽略层间依赖，要么求解比标准交叉熵更困难的优化目标。我们的方法，基于互信息的神经元修剪（MINT），通过基于相邻层滤波器间关系强度（跨越每一对层）施加稀疏性来通过剪枝实现深度压缩。该关系使用条件几何互信息计算，其基于图准则评估滤波器间交换的相似信息量。在剪枝网络时，我们确保保留的滤波器对后续层贡献大部分信息，从而保证高性能。我们的新颖方法在MNIST、CIFAR-10和ILSVRC2012等该任务标准基准上，跨多种网络架构，优于现有的最先进（SOTA）通过剪枝压缩的方法。此外，我们讨论了相较于原始网络，我们的剪枝方法在对对抗攻击的响应与校准统计量之间所观察到的共同特征。
引用
@article{arxiv.2003.08472,
title = {MINT: Deep Network Compression via Mutual Information-based Neuron Trimming},
author = {Madan Ravi Ganesh and Jason J. Corso and Salimeh Yasaei Sekeh},
journal= {arXiv preprint arXiv:2003.08472},
year = {2020}
}
备注
12 pages