使用贝叶斯学习规则训练具有二值突触的限制玻尔兹曼机
机器学习
2020-07-10 v1 无序系统与神经网络
机器学习
摘要
具有低精度突触的限制玻尔兹曼机（RBM）因具有高能量效率而备受青睐。然而，由于突触的离散性，训练具有二值突触的 RBM 具有挑战性。最近，Huang 提出了一种有效的方法，通过在变分推断框架下结合梯度上升和消息传递算法来训练具有二值突触的 RBM。然而，这需要额外的启发式截断操作。在本技术笔记中，受 Huang 工作的启发，我们提出了一种使用贝叶斯学习规则的替代优化方法，这是一种自然梯度变分推断方法。与 Huang 的方法相反，我们更新变分对称伯努利分布的自然参数，而不是期望参数。由于自然参数在整个实数域取值，因此不需要额外的截断。有趣的是，\cite{huang2019data} 中的算法可以被视为所提出算法的一阶近似，这证明了其带有启发式截断的有效性。
引用
@article{arxiv.2007.04676,
title = {Training Restricted Boltzmann Machines with Binary Synapses using the Bayesian Learning Rule},
author = {Xiangming Meng},
journal= {arXiv preprint arXiv:2007.04676},
year = {2020}
}
备注
Technical note. Work in progress