二值化神经网络：训练权重与激活约束为 +1 或 -1 的深度神经网络
机器学习
2016-03-18 v3
摘要
我们引入一种训练二值化神经网络（BNNs）的方法——即运行时具有二值权重和激活的神经网络。在训练时，二值权重和激活被用于计算参数梯度。在前向传播过程中，BNNs 大幅减少内存大小和访问，并将大多数算术运算替换为按位运算，这有望显著提高功率效率。为验证 BNNs 的有效性，我们在 Torch7 和 Theano 框架上进行了两组实验。在两者上，BNNs 在 MNIST、CIFAR-10 和 SVHN 数据集上均取得了近乎最先进（state-of-the-art）的结果。最后但同样重要的是，我们编写了一个二值矩阵乘法 GPU 内核，借助它可以将我们的 MNIST BNN 运行速度提升至未优化 GPU 内核的 7 倍，且不损失任何分类精度。用于训练和运行我们 BNNs 的代码可在线获取。
引用
@article{arxiv.1602.02830,
title = {Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1},
author = {Matthieu Courbariaux and Itay Hubara and Daniel Soudry and Ran El-Yaniv and Yoshua Bengio},
journal= {arXiv preprint arXiv:1602.02830},
year = {2016}
}
备注
11 pages and 3 figures