用于近传感器计算的能效混合随机-二进制神经网络
硬件体系结构
2017-06-09 v1
摘要
神经网络（NNs）的最新进展在将大型非结构化数据流转换为紧凑的高层语义信息方面取得了前所未有的成功，用于诸如手写识别、图像分类和语音识别等任务。理想情况下，系统应采用近传感器计算在传感器端点执行这些任务，以最大化数据缩减并最小化数据移动。然而，近传感器计算带来了其自身的一系列挑战，例如工作功率限制、能量预算和通信带宽容量。在本文中，我们提出了一种随机-二进制混合设计，该设计将计算在随机域和二进制域之间进行拆分，用于近传感器 NN 应用。此外，我们的设计使用了一种新的随机加法器和乘法器，它们比现有的加法器和乘法器显著更精确。我们还表明，重新训练 NN 计算的二进制部分可以补偿由更短的随机比特流引入的精度损失，从而在最小的精度损失下实现更快的运行时间。我们的评估表明，与传统的全二进制设计相比，我们的混合随机-二进制设计可以实现 9.8 倍的能效节省，并且应用级精度差异在 0.05% 以内。
引用
@article{arxiv.1706.02344,
title = {Energy-Efficient Hybrid Stochastic-Binary Neural Networks for Near-Sensor Computing},
author = {Vincent T. Lee and Armin Alaghi and John P. Hayes and Visvesh Sathe and Luis Ceze},
journal= {arXiv preprint arXiv:1706.02344},
year = {2017}
}
备注
6 pages, 3 figures, Design, Automata and Test in Europe (DATE) 2017