深度神经网络中整数化的训练与推理
机器学习
2018-02-14 v1
摘要
关于具有离散参数的深度神经网络及其在嵌入式系统中部署的研究,一直是活跃且前景广阔的课题。尽管先前工作已成功降低推理精度,但同时将训练与推理过程迁移至低比特整数尚未被同时实现。本工作中,我们提出一种称为“WAGE”的新方法以离散化训练与推理,其中层间的权重(W)、激活值(A)、梯度(G)与误差(E)被平移并线性约束为低比特整数。为实现定点器件的纯离散数据流,我们进一步以常量缩放层替代批归一化,并简化其他难以整数实现的组件。在多个数据集上可获得更高精度,表明WAGE在某种程度充当了一种正则化。经验上,我们展示了在基于整数的深度学习加速器与神经形态芯片等硬件系统中部署训练的潜力,其精度可比且能效更高,这对具有迁移与持续学习需求的变场景未来AI应用至关重要。
引用
@article{arxiv.1802.04680,
title = {Training and Inference with Integers in Deep Neural Networks},
author = {Shuang Wu and Guoqi Li and Feng Chen and Luping Shi},
journal= {arXiv preprint arXiv:1802.04680},
year = {2018}
}
备注
14 pages, 5 figures, ICLR2018