感知交叉开关阵列的神经网络剪枝
计算机视觉与模式识别
2018-12-07 v3
摘要
基于交叉开关阵列（crossbar）架构的设备凭借在向量-矩阵乘法（VMM）运算上的高效率，已被广泛采用于神经网络加速器。然而，在卷积神经网络（CNNs）情形下，由于大量数据复用，效率被显著削弱。尽管已设计一些映射方法以在执行吞吐量与资源开销间取得平衡，但维持吞吐量时资源消耗成本仍十分巨大。网络剪枝是一种前景广阔且被广泛研究的缩减模型规模的手段。然而，以往工作未考虑交叉开关阵列架构及其对应映射方法，因而无法被基于交叉开关阵列的神经网络加速器直接利用。本文将交叉开关结构与映射紧密耦合，提出一种基于公式化 L0 范数约束优化问题的感知交叉开关阵列的剪枝框架。具体而言，我们设计了带松弛概率投影（RPP）的 L0 范数约束梯度下降（LGD）来求解该问题。成功实现了两种粒度的稀疏性：i）直观的交叉开关阵列粒度稀疏性，以及 ii）带输出重组的列粒度稀疏性，并基于此进一步提出输入特征图（FMs）重排序方法以提升模型精度。我们在中等规模 CIFAR10 数据集与大规模 ImageNet 数据集上，使用 VGG 与 ResNet 模型评估了我们的感知交叉开关阵列剪枝框架。我们的方法能够以极小的精度下降将交叉开关阵列开销降低 44%–72%。本工作极大节省了资源与相关能耗，为将 CNNs 映射到各类交叉开关阵列设备提供了具有显著更高效率的新协同设计方案。
引用
@article{arxiv.1807.10816,
title = {Crossbar-aware neural network pruning},
author = {Ling Liang and Lei Deng and Yueling Zeng and Xing Hu and Yu Ji and Xin Ma and Guoqi Li and Yuan Xie},
journal= {arXiv preprint arXiv:1807.10816},
year = {2018}
}