Ristretto: 面向硬件的卷积神经网络近似
计算机视觉与模式识别
2016-05-23 v1 机器学习
神经与进化计算
摘要
卷积神经网络(CNN)近年来取得了重大突破。它们在计算机视觉中的性能已与人类能力匹敌,在某些领域甚至超越。深度神经网络能够捕捉复杂的非线性特征;然而这种能力是以高计算和内存需求为代价的。最先进的网络需要数十亿次算术运算和数百万参数。为使智能手机、Google 眼镜和监控摄像头等嵌入式设备具备深度学习的惊人能力,可使用专用硬件加速器来同时降低执行时间和功耗。在无法保证快速云连接或隐私重要的应用中,计算需要在本地完成。近来已提出许多用于深度神经网络的硬件加速器。加速器设计的首要重要步骤是面向硬件的深度网络近似,其可实现高能效推理。我们提出 Ristretto,一个用于 CNN 近似的快速自动化框架。Ristretto 模拟定制硬件加速器的硬件算术。该框架缩减了网络参数和资源密集型层的输出的位宽,从而显著减少乘法单元的芯片面积。或者,Ristretto 可以完全消除对乘法器的需求,从而产生仅使用加法器的算术。该工具对剪枝后的网络进行微调以实现高分类精度。由于深度神经网络的训练可能耗时,Ristretto 使用在 GPU 上运行的高度优化例程。这使得任意给定网络的快速压缩成为可能。给定 1% 的最大容差,Ristretto 能成功将 CaffeNet 和 SqueezeNet 压缩至 8 位。Ristretto 的代码已公开。
引用
@article{arxiv.1605.06402,
title = {Ristretto: Hardware-Oriented Approximation of Convolutional Neural Networks},
author = {Philipp Gysel},
journal= {arXiv preprint arXiv:1605.06402},
year = {2016}
}
备注
Master's Thesis, University of California, Davis; 73 pages and 29 figures