利用能耗感知剪枝设计高能效卷积神经网络
计算机视觉与模式识别
2017-04-20 v4
摘要
深度卷积神经网络（CNN）是当前最先进计算机视觉算法不可或缺的组成部分。然而，它们仍很少部署在智能手机和可穿戴设备等电池供电的移动设备上，而视觉算法在这些设备上可以催生许多革命性的实际应用。关键限制因素在于 CNN 处理的高计算复杂度导致的高能耗。尽管已有许多先前工作试图减小 CNN 模型尺寸或计算量，我们发现这些努力未必能带来更低的能耗，因此不能作为能耗估算的良好指标。为弥合 CNN 设计与能耗优化之间的鸿沟，我们提出了一种面向 CNN 的能耗感知剪枝算法，直接利用 CNN 的能耗估算来指导剪枝过程。该能耗估算方法使用从实际硬件测量中推演出的参数，这些测量针对现实的电池供电系统设置。所提出的逐层剪枝算法通过最小化输出特征图的误差而非滤波器权重，比先前提出的剪枝方法剪枝更为激进。对每一层，权重首先被剪枝，然后通过闭式最小二乘解进行局部微调以快速恢复精度。所有层剪枝完毕后，再使用反向传播对整个网络进行全局微调。采用所提出的剪枝方法，AlexNet 和 GoogLeNet 的能耗分别降低了 3.7 倍和 1.6 倍，且 top-5 精度损失低于 1%。最后，我们表明，在减少目标类别数的情况下对 AlexNet 进行剪枝可以大幅减少权重数量，但能耗降低有限。能耗建模工具和能耗感知剪枝模型可在 http://eyeriss.mit.edu/energy.html 获取。
引用
@article{arxiv.1611.05128,
title = {Designing Energy-Efficient Convolutional Neural Networks using Energy-Aware Pruning},
author = {Tien-Ju Yang and Yu-Hsin Chen and Vivienne Sze},
journal= {arXiv preprint arXiv:1611.05128},
year = {2017}
}
备注
Published as a conference paper at CVPR 2017