具有渐缩资源约束的神经网络通道级剪枝
计算机视觉与模式识别
2018-12-19 v1 机器学习
机器学习
摘要
神经网络剪枝是为计算能力受限的边缘设备设计高效神经网络的重要步骤。剪枝是一种将原始网络权重中的知识迁移到更小目标子网络的形式。我们提出一种用于卷积神经网络、在计算约束下的结构化通道级剪枝新方法。该方法迭代地微调网络，同时通过拉格朗日乘子框架中的完整约束，使剪枝网络可用的计算资源逐渐渐缩（tapering）。提供了对渐缩速率的显式自适应自动控制。我们剪枝方法的可训练参数与神经网络权重相分离，这使我们能够避免对神经网络求解器的干扰（例如避免剪枝速度对神经网络学习率的直接依赖）。我们的方法结合了通过直接应用约束优化而来的“严格”路线，避免了基于ADMM方法的缺陷，例如其需要为每次剪枝运行定义目标资源量，以及剪枝速度和剪枝优先级对层间权重相对尺度的直接依赖。对于VGG-16 @ ILSVRC-2012，我们实现了15.47 -> 3.87 GMAC的缩减，且仅损失1%的top-1准确率（68.4% -> 67.4%）。对于AlexNet @ ILSVRC-2012，我们实现了0.724 -> 0.411 GMAC的缩减，且top-1准确率损失1%（56.8% -> 55.8%）。
引用
@article{arxiv.1812.07060,
title = {Channel-wise pruning of neural networks with tapering resource constraint},
author = {Alexey Kruglov},
journal= {arXiv preprint arXiv:1812.07060},
year = {2018}
}