利用期望反向传播训练用于图像分类的二值多层神经网络
神经与进化计算
2015-03-24 v3 计算机视觉与模式识别
机器学习
摘要
与具有实数权重的多层神经网络相比，二值多层神经网络（BMNNs）可以在专用硬件上更高效地实现。BMNNs 已被证明在使用期望反向传播（EBP）算法处理高维文本数据集的二分类任务时是有效的。在本文中，我们研究了使用 EBP 算法的 BMNNs 在多类图像分类任务上的能力。在 MNIST 数据集上检验了具有多个隐藏层和不同隐藏单元数量的二值神经网络的performance。我们还探讨了图像空间滤波器和 dropout 技术在 BMNNs 中的有效性。MNIST 数据集上的实验结果表明，EBP 在使用二值权重时可获得 2.12% 的测试误差，在使用实数权重时可获得 1.66% 的测试误差，这与全连接 MNNs 上标准反向传播算法的结果相当。
引用
@article{arxiv.1503.03562,
title = {Training Binary Multilayer Neural Networks for Image Classification using Expectation Backpropagation},
author = {Zhiyong Cheng and Daniel Soudry and Zexi Mao and Zhenzhong Lan},
journal= {arXiv preprint arXiv:1503.03562},
year = {2015}
}
备注
8 pages with 1 figures and 4 tables