使用对数数据表示的卷积神经网络
神经与进化计算
2016-03-18 v2 机器学习
摘要
近年来卷积神经网络领域的进展已考虑模型复杂度与硬件效率，以实现在嵌入式系统和移动设备上的部署。例如，众所周知，深度网络的算术运算可编码至8位定点而不显著劣化性能。然而，进一步将精度降低至低至3位定点会导致显著的性能损失。本文提出一种新的数据表示，使得最先进的网络能够以可忽略的分类性能损失编码为3位。为此，我们利用以下事实：训练好的网络中的权重和激活值自然具有非均匀分布。使用非均匀的、以2为底的对数表示来编码权重、传递激活值并执行点积，使网络能够 1) 在相同分辨率下比定点表示获得更高的分类准确率，以及 2) 消除庞大的数字乘法器。最后，我们提出一种端到端训练过程，其在5位时使用对数表示，比5位线性表示取得更高的最终测试准确率。
引用
@article{arxiv.1603.01025,
title = {Convolutional Neural Networks using Logarithmic Data Representation},
author = {Daisuke Miyashita and Edward H. Lee and Boris Murmann},
journal= {arXiv preprint arXiv:1603.01025},
year = {2016}
}
备注
10 pages, 7 figures