Group Scissor：将神经形态计算设计扩展至大型神经网络
神经与进化计算
2017-06-20 v2 人工智能
摘要
突触交叉阵列是神经形态计算系统(NCS)的基本结构。然而，交叉阵列的有限尺寸和严重的路由拥塞阻碍了大型神经网络的NCS实现。本文提出一个两步框架（称为Group Scissor）将NCS设计扩展到大型神经网络。第一步是秩裁剪(rank clipping)，将低秩近似集成到训练中以减少总交叉阵列面积。第二步是组连接删除(group connection deletion)，结构性地剪枝连接以减少交叉阵列间的路由拥塞。在MNIST数据库上的LeNet卷积神经网络和CIFAR-10数据库上的ConvNet上测试，我们的实验显示了NCS设计中交叉阵列面积和路由面积的显著减少。在无精度损失下，秩裁剪将LeNet和ConvNet的NCS设计中的总交叉阵列面积分别减少到13.62%和51.81%。在秩裁剪之后，组连接删除进一步将LeNet和ConvNet的路由面积分别减少到8.1%和52.06%。
引用
@article{arxiv.1702.03443,
title = {Group Scissor: Scaling Neuromorphic Computing Design to Large Neural Networks},
author = {Yandan Wang and Wei Wen and Beiye Liu and Donald Chiarulli and Hai Li},
journal= {arXiv preprint arXiv:1702.03443},
year = {2017}
}
备注
Accepted in DAC 2017