DoReFa-Net: 使用低比特梯度训练低比特卷积神经网络
神经与进化计算
2018-02-05 v3 机器学习
摘要
我们提出了 DoReFa-Net，一种使用低比特参数梯度训练具有低比特权重和激活值的卷积神经网络的方法。具体而言，在后向传播过程中，参数梯度在被传播到卷积层之前，会被随机量化为低比特数值。由于前向/后向传播过程中的卷积现在可以分别在低比特权重和激活值/梯度上进行操作，DoReFa-Net 可以使用比特卷积核来加速训练和推理。此外，由于比特卷积可以在 CPU、FPGA、ASIC 和 GPU 上高效实现，DoReFa-Net 为在这些硬件上加速低比特神经网络的训练开辟了道路。我们在 SVHN 和 ImageNet 数据集上的实验证明，DoReFa-Net 可以达到与 32 位对应模型相当的预测准确率。例如，一个源自 AlexNet、具有 1 比特权重和 2 比特激活值的 DoReFa-Net，可以使用 6 比特梯度从头开始训练，在 ImageNet 验证集上获得 46.1% 的 top-1 准确率。DoReFa-Net AlexNet 模型已公开发布。
引用
@article{arxiv.1606.06160,
title = {DoReFa-Net: Training Low Bitwidth Convolutional Neural Networks with Low Bitwidth Gradients},
author = {Shuchang Zhou and Yuxin Wu and Zekun Ni and Xinyu Zhou and He Wen and Yuheng Zou},
journal= {arXiv preprint arXiv:1606.06160},
year = {2018}
}