位深度神经网络的高效随机推理
神经与进化计算
2016-11-22 v1 机器学习
摘要
最近发表的方法使得训练位深度神经网络成为可能，该网络允许将每个权重的表示减少到单个比特。我们提出了一种方法，利用基于多个随机采样网络模型的集成决策来提高位深度神经网络在推理时的分类准确率。我们在 CIFAR-10 和 GTSRB 数据集上的实验表明，这种网络集成的性能超过了高精度基础模型。利用该技术，我们在 CIFAR-10 测试集上使用位深度网络达到了 5.81% 的最佳分类错误率。关于嵌入式系统上的推理，我们使用硬件高效的随机舍入程序来评估这些位深度网络。我们的工作为高效的嵌入式位深度神经网络做出了贡献。
引用
@article{arxiv.1611.06539,
title = {Efficient Stochastic Inference of Bitwise Deep Neural Networks},
author = {Sebastian Vogel and Christoph Schorn and Andre Guntoro and Gerd Ascheid},
journal= {arXiv preprint arXiv:1611.06539},
year = {2016}
}
备注
6 pages, 3 figures, Workshop on Efficient Methods for Deep Neural Networks at Neural Information Processing Systems Conference 2016, NIPS 2016, EMDNN 2016