平均场贝叶斯反向传播：具有二值权重的多层神经网络的可扩展训练
机器学习
2013-10-25 v4
摘要
近期，利用深度神经网络进行分类已取得了显著成功。此类大型网络即使在训练结束后也可能计算密集。将这些训练好的网络部署在突触权重精度有限的硬件芯片上，可能会将其速度和能源效率提高几个数量级，从而使其能够集成到小型低功耗电子设备中。基于此动机，我们开发了一种用于多层神经网络的高效学习算法，该网络具有二值权重，并假设所有隐藏神经元的扇出为 1。该算法在贝叶斯概率在线设置下推导得出，被证明在合成问题和现实世界问题中均表现良好，其性能与具有实值权重的算法相当，同时保持了计算的可处理性。
引用
@article{arxiv.1310.1867,
title = {Mean Field Bayes Backpropagation: scalable training of multilayer neural networks with binary weights},
author = {Daniel Soudry and Ron Meir},
journal= {arXiv preprint arXiv:1310.1867},
year = {2013}
}