NISP：基于神经元重要性分数传播的网络剪枝
计算机视觉与模式识别
2018-03-23 v3
摘要
为降低深度卷积神经网络（CNNs）中显著的冗余，现有多数方法仅考虑单层或两层连续的统计信息（例如，剪掉一层以最小化下一层的重构误差）来剪枝神经元，忽略了深度网络中误差传播的影响。相反，我们认为必须基于统一目标在整个神经元网络中联合剪枝：对于剪枝后需重新训练预测能力的网络，最小化“最终响应层”（FRL，即分类前倒数第二层）中重要响应的重构误差。具体而言，我们应用特征排序技术度量FRL中每个神经元的重要性，将网络剪枝表述为二值整数优化问题并导出其闭式解，以剪枝较早层中的神经元。基于理论分析，我们提出神经元重要性分数传播（NISP）算法，将最终响应的重要性分数传播至网络中每个神经元。通过移除重要性最低的神经元来剪枝CNN，然后微调以保留其预测能力。NISP在多个数据集与多种CNN模型上评估，结果表明其在精度损失可忽略的情况下实现了显著的加速与压缩。
引用
@article{arxiv.1711.05908,
title = {NISP: Pruning Networks using Neuron Importance Score Propagation},
author = {Ruichi Yu and Ang Li and Chun-Fu Chen and Jui-Hsin Lai and Vlad I. Morariu and Xintong Han and Mingfei Gao and Ching-Yung Lin and Larry S. Davis},
journal= {arXiv preprint arXiv:1711.05908},
year = {2018}
}