二值化神经网络
机器学习
2016-03-11 v3 神经与进化计算
摘要
我们提出一种训练二值化神经网络（Binarized Neural Networks, BNNs）的方法——即在运行时以及训练时计算参数梯度时，权重和激活值均为二值的神经网络。我们进行了两组实验，分别基于不同的框架（即Torch7和Theano），在MNIST、CIFAR-10和SVHN上训练BNNs，并取得了近乎最先进(state-of-the-art)的结果。在前向传播过程中，BNNs大幅减少内存大小和访问次数，并将大多数算术运算替换为按位运算，这可能带来功耗效率的极大提升。最后同样重要的是，我们编写了一个二值矩阵乘法GPU内核，借助它可以在不损失任何分类精度的前提下，使我们的MNIST BNN运行速度比未优化的GPU内核快7倍。用于训练和运行我们BNNs的代码已公开。
引用
@article{arxiv.1602.02505,
title = {Binarized Neural Networks},
author = {Itay Hubara and Daniel Soudry and Ran El Yaniv},
journal= {arXiv preprint arXiv:1602.02505},
year = {2016}
}
备注
This is an obsolete version, up to date version is available here: arXiv:1602.02830