LightNN：填补常规深度神经网络与二值化网络之间的鸿沟
神经与进化计算
2018-02-08 v1
摘要
深度神经网络(DNNs)的专用集成电路(ASIC)实现因更高的分类速度已被许多系统采用。然而，尽管它们可能具有更好的精度，更大的DNN需要显著的能耗与面积，从而限制了其广泛应用。DNN的能耗由内存访问与计算共同驱动。二值化神经网络(BNNs)作为精度与能耗之间的折衷，可实现极大的能耗降低，并因其正则化效应而对大型DNN具有良好精度。然而，当采用较小的DNN配置时，BNNs表现出较差的精度。本文提出一种新的DNN模型LightNN，它将乘法替换为一次移位或受限次数的移位与加法。对于固定的DNN配置，LightNN比BNNs精度更好且能耗仅略有增加，但比常规DNNs更节能且精度仅略低。因此，LightNN为硬件设计者在精度与能耗间权衡提供了更多选择。此外，对于大型DNN配置，LightNN具有正则化效应，使其在精度上优于常规DNNs。这些结论通过使用MNIST与CIFAR-10数据集针对不同DNN配置的实验得到验证。
引用
@article{arxiv.1802.02178,
title = {LightNN: Filling the Gap between Conventional Deep Neural Networks and Binarized Networks},
author = {Ruizhou Ding and Zeye Liu and Rongye Shi and Diana Marculescu and R. D. Blanton},
journal= {arXiv preprint arXiv:1802.02178},
year = {2018}
}