使用低精度乘法训练深度神经网络
机器学习
2015-09-24 v5 计算机视觉与模式识别
神经与进化计算
摘要
乘法器是深度神经网络数字实现中最占用空间和功耗的算术运算符。我们在三个基准数据集 MNIST、CIFAR-10 和 SVHN 上训练了一组最先进的神经网络（Maxout 网络）。它们分别使用三种不同的格式进行训练：浮点、定点和动态定点。对于每个数据集和每种格式，我们评估了乘法精度对训练后最终误差的影响。我们发现，非常低的精度不仅足以运行已训练的网络，也足以训练它们。例如，可以使用 10 位乘法来训练 Maxout 网络。
引用
@article{arxiv.1412.7024,
title = {Training deep neural networks with low precision multiplications},
author = {Matthieu Courbariaux and Yoshua Bengio and Jean-Pierre David},
journal= {arXiv preprint arXiv:1412.7024},
year = {2015}
}
备注
10 pages, 5 figures, Accepted as a workshop contribution at ICLR 2015