稀疏连接神经网络：面向深度神经网络的高效VLSI实现
神经与进化计算
2017-04-03 v3 机器学习
摘要
近年来，深度神经网络因其在数据集中提取和表示高级抽象的能力而受到相当关注。诸如全连接和卷积神经网络等深度神经网络在广泛的识别和分类任务上展现出优异性能。然而，由于其高度复杂性，它们的硬件实现目前面临大的硅面积和高功耗问题。神经网络的功耗/能耗主要由内存访问主导，其中大多数发生在全连接网络中。事实上，它们包含了深度神经网络的大部分参数。在本文中，我们提出稀疏连接网络，通过表明全连接网络中的连接数可减少多达90%，同时在三个流行数据集（MNIST、CIFAR10和SVHN）上提高准确率性能。然后，我们提出一种基于线性反馈移位寄存器的高效硬件架构，以降低所提稀疏连接网络的内存需求。与传统全连接神经网络实现相比，该架构可节省多达90%的内存。此外，实现结果表明，与全连接神经网络的单个神经元相比，所提稀疏连接网络的单个神经元能耗降低多达84%。
引用
@article{arxiv.1611.01427,
title = {Sparsely-Connected Neural Networks: Towards Efficient VLSI Implementation of Deep Neural Networks},
author = {Arash Ardakani and Carlo Condo and Warren J. Gross},
journal= {arXiv preprint arXiv:1611.01427},
year = {2017}
}
备注
Published as a conference paper at ICLR 2017