利用低精度与稀疏性加速深度卷积网络
机器学习
2016-10-04 v1 神经与进化计算
摘要
我们探索了在不影响准确率的情况下显著提高深度卷积网络计算效率和性能的技术。为了提高计算效率，我们专注于以极低精度（2 位）权重网络实现高准确率；为了加速执行时间，我们积极地跳过对零值的操作。我们在 Imagenet 物体分类挑战赛中，使用低精度网络实现了 76.6% Top-1/93% Top-5 的最高报告准确率\footnote{源代码的 github 版本即将发布}，同时与实现相似准确率的全精度网络相比，将计算需求减少了约 3 倍。此外，为了充分利用我们低精度网络的优势，我们构建了一个深度学习加速器核心 dLAC，对于单精度浮点运算，它可实现高达 1 TFLOP/mm^2 的等效性能（对于半精度约为 2 TFLOP/mm^2）。
引用
@article{arxiv.1610.00324,
title = {Accelerating Deep Convolutional Networks using low-precision and sparsity},
author = {Ganesh Venkatesh and Eriko Nurvitadhi and Debbie Marr},
journal= {arXiv preprint arXiv:1610.00324},
year = {2016}
}