面向精确轻量网络的神经元剪枝层分解-重组框架
计算机视觉与模式识别
2018-12-18 v1
摘要
神经元剪枝是一种将网络压缩为更窄网络以降低计算成本和存储开销的高效方法。大多数最先进的结果是在逐层优化模式下获得的。该方法丢弃不重要的输入神经元，并以逐层方式利用存活的神经元重构输出神经元以逼近原始神经元。然而，一个未被注意到的问题随之出现：由于存活神经元仍无法像之前那样编码全部信息，信息损失随层数增加而累积。更好的替代方案是传播全部有用信息以重构被剪枝层，而非直接丢弃较不重要的神经元。为此，我们提出了一种新颖的神经元剪枝层分解-重组框架（LDRF），通过该框架，每一层的输出信息在嵌入空间中被恢复，然后被传播以重构后续被剪枝层并保留有用信息。我们主要在 ILSVRC-12 基准上使用 VGG-16 和 ResNet-50 进行实验。需要强调的是，由于所提框架的保信息特性，我们在端到端微调前的结果即显著占优。经端到端微调，我们实现了 5.13 倍和 3 倍的加速，且仅分别有 0.5% 和 0.65% 的 top-5 精度下降，优于现有的神经元剪枝方法。
引用
@article{arxiv.1812.06611,
title = {A Layer Decomposition-Recomposition Framework for Neuron Pruning towards Accurate Lightweight Networks},
author = {Weijie Chen and Yuan Zhang and Di Xie and Shiliang Pu},
journal= {arXiv preprint arXiv:1812.06611},
year = {2018}
}
备注
accepted by AAAI19 as oral