用于深度神经网络生物学可信训练的变分概率流
机器学习
2017-11-22 v1 神经与进化计算
机器学习
摘要
对生物学可信深度学习的追求，不仅出于解释生物神经网络实验观测特性的愿望，也出于发现更高效人工网络训练方法的希望。本文提出一种名为变分概率流（VPF）的新算法，它是用于训练二值深度玻尔兹曼机（DBM）的最小概率流的扩展。我们证明VPF中的权重更新是局部的，仅依赖于相邻神经元的状态和发放率。与对比散度不同，无需吉布斯臆想；与反向传播不同，不需要交替的前馈和反馈阶段。此外，该学习算法对训练隐藏节点间具有层内连接的DBM有效。在MNIST和Fashion MNIST上的实验表明，VPF能快速学习到合理的特征，更准确地重建受损图像，并生成具有较估测对数似然的样本。最后，我们指出，有趣的是，若存在VPF的非对称版本，其权重更新可直接解释脉冲时序依赖可塑性（STDP）中的实验结果。
引用
@article{arxiv.1711.07732,
title = {Variational Probability Flow for Biologically Plausible Training of Deep Neural Networks},
author = {Zuozhu Liu and Tony Q. S. Quek and Shaowei Lin},
journal= {arXiv preprint arXiv:1711.07732},
year = {2017}
}