神经元合并：补偿被剪枝的神经元

Woojeong Kim; Suhyun Kim; Mincheol Park; Geonseok Jeon

神经元合并：补偿被剪枝的神经元

计算机视觉与模式识别 2020-10-27 v1 人工智能

作者: Woojeong Kim , Suhyun Kim , Mincheol Park , Geonseok Jeon

摘要

网络剪枝被广泛用于轻量化并加速神经网络模型。结构化网络剪枝会丢弃整个神经元或滤波器，导致精度损失。在本文中，我们提出一种适用于全连接层和卷积层的神经元合并新概念，以补偿因神经元/滤波器被剪枝而造成的信息损失。神经元合并首先将原始权重分解为两个矩阵/张量。其中一者成为当前层的新权重，另一者是我们所称的缩放矩阵，用于引导神经元的组合。若激活函数为 ReLU，在特定条件下该缩放矩阵可被吸收进下一层，从而补偿被移除的神经元。我们还提出一种无数据且低成本的方法，利用神经元间的余弦相似度来分解权重。与具有相同拓扑的剪枝模型相比，我们的合并模型更好地保留了原始模型的输出特征图；因此，它在剪枝后无需微调即可保持精度。我们在多种模型架构和数据集上展示了我们的方法相对于网络剪枝的有效性。例如，对于 CIFAR-10 上的 VGG-16，我们在不施加任何微调的情况下，将总参数量减少 64% 的同时达到了 93.16% 的精度。代码可在以下地址获取：https://github.com/friendshipkim/neuron-merging

关键词

网络剪枝神经元合并结构化剪枝 ReLU 余弦相似度 VGG-16 CIFAR-10 免微调

引用

@article{arxiv.2010.13160,
  title  = {Neuron Merging: Compensating for Pruned Neurons},
  author = {Woojeong Kim and Suhyun Kim and Mincheol Park and Geonseok Jeon},
  journal= {arXiv preprint arXiv:2010.13160},
  year   = {2020}
}

备注

NeurIPS 2020

神经元合并：补偿被剪枝的神经元

摘要

关键词

引用

备注

相关论文