能量模型中早期推断近似反向传播
机器学习
2016-02-09 v2
摘要
我们表明，在带有潜变量的能量模型中进行 Langevin MCMC 推断具有这样的性质：从平稳点开始的推断早期步骤对应于将误差梯度传播到内部层，类似于反向传播。被反向传播的误差是关于可见单元的，这些可见单元受到了将其推离平稳点的外部驱动力。反向传播的误差梯度对应于隐单元激活的时间导数。这一观察可能成为解释大脑如何像反向传播那样高效地在深层层次结构中执行信用分配的理论的一个要素。在该理论中，连续值潜变量对应于平均电压电位（跨越时间、脉冲以及可能同一微柱中的神经元），而神经计算同时对应于近似推断和误差反向传播。
引用
@article{arxiv.1510.02777,
title = {Early Inference in Energy-Based Models Approximates Back-Propagation},
author = {Yoshua Bengio and Asja Fischer},
journal= {arXiv preprint arXiv:1510.02777},
year = {2016}
}
备注
arXiv admin note: text overlap with arXiv:1509.05936