深度生成网络快速推断的前馈初始化具有生物学合理性
机器学习
2016-06-29 v2 神经与进化计算
神经元与认知
摘要
我们考虑深度多层生成模型，例如玻尔兹曼机或Hopfield网络，其中计算（实现推断）既是循环的又是随机的，但循环并非用于建模序列结构，仅用于执行计算。我们发现了在输入单元被钳制到观测值后，简单前馈计算可作为推断的非常好的初始化的条件。这意味着在前馈初始化之后，循环网络非常接近网络动力学的固定点，其中能量梯度为0。主要条件是连续层构成良好的自编码器，或者更一般地，进入单元的不同输入组（特别是自下而上输入与自上而下输入）彼此一致，对输入总加权和产生相同贡献。用生物学术语来说，这对应于每个树突分支正确预测来自所有树突分支的聚集输入，即胞体电位。这与以下预测一致：进入树突分支的突触权重（例如锥体细胞顶树突和基树突的权重）被训练为在目标为体细胞活动时最小化树突分支所做的预测误差。虽然先前工作已展示如何在预测性循环模型中实现快速负相位推断（当模型未被钳制时），本贡献有助于在此类循环神经模型中实现快速正相位推断（当目标输出被钳制时）。
引用
@article{arxiv.1606.01651,
title = {Feedforward Initialization for Fast Inference of Deep Generative Networks is biologically plausible},
author = {Yoshua Bengio and Benjamin Scellier and Olexa Bilaniuk and Joao Sacramento and Walter Senn},
journal= {arXiv preprint arXiv:1606.01651},
year = {2016}
}