循环双稳态梯度网络中的学习
神经与进化计算
2016-08-31 v1
摘要
循环双稳态梯度网络是基于吸引子的神经网络，其特征是每个单神经元具有双稳态动力学。通过由互连权重决定的线性相互作用耦合在一起，这些网络不再受伪状态或极低容量的困扰。发明这些网络的Vladimir Chinarov和Michael Menzinger使用赫布学习规则对其训练。我们表明，这种计算权重的方式导致了不期望的行为和网络能力的局限。此外，我们证明，使用辛顿对比散度算法的一阶形式可得到一个颇具前景的循环神经网络。这些发现通过学习MNIST手写数字数据库中的图像进行了测试。
引用
@article{arxiv.1608.08265,
title = {About Learning in Recurrent Bistable Gradient Networks},
author = {J. Fischer and S. Lackner},
journal= {arXiv preprint arXiv:1608.08265},
year = {2016}
}
备注
3 pages, 4 figures