无乘法器高精度深度神经网络的软硬件协同设计
神经与进化计算
2017-05-12 v1
摘要
尽管深度神经网络(Deep Neural Networks, DNNs)在许多机器学习应用中推动了最先进水平，但它们通常每次输入分类需要数百万次昂贵的浮点运算。这种计算开销限制了 DNNs 在低功耗嵌入式平台上的适用性，并在数据中心中带来高成本。这激发了近期基于定点、三进制甚至二进制数据精度设计低功耗、低延迟 DNNs 的兴趣。尽管该领域近期工作提供了有前景的结果，但与浮点网络相比往往导致较大的精度下降。我们提出一种新方法，将基于浮点的 DNNs 映射为具有整数2的幂权重的 8 位动态定点网络，且无需改变网络架构。我们的动态定点 DNNs 允许层间不同的小数点位置。在推理过程中，2的幂权重使得乘法可被算术移位替代，而 8 位定点表示简化了缓冲区和加法器设计。此外，我们提出一种硬件加速器设计，以在实现低功耗、低延迟推理的同时精度下降可忽略。使用我们的定制加速器设计在 CIFAR-10 和 ImageNet 数据集上，我们展示了该方法在提高分类精度的同时实现了显著的功耗和能耗节省。
引用
@article{arxiv.1705.04288,
title = {Hardware-Software Codesign of Accurate, Multiplier-free Deep Neural Networks},
author = {Hokchhay Tann and Soheil Hashemi and Iris Bahar and Sherief Reda},
journal= {arXiv preprint arXiv:1705.04288},
year = {2017}
}
备注
6 pages