胜者通吃脉冲神经网络中的结构化平均场变分推断与学习
神经元与认知
2019-11-15 v1
摘要
大脑的贝叶斯观点假设大脑构建世界的生成模型，并使用该模型通过贝叶斯规则进行推断。尽管已为大脑的分层贝叶斯模型提出了许多类型的近似推断方案，这些不同的推断过程如何由分层脉冲神经元网络实现的问题在很大程度上仍未解决。基于先前提出的多房室神经元模型（其中树突执行对数压缩）和随机脉冲胜者通吃（WTA）电路（其中每个神经元的放电概率由其他神经元的活动归一化），在此我们构建执行结构化平均场变分推断与学习的脉冲神经网络，应用于具有离散随机变量的分层有向概率图模型。在这些模型中，我们通过分别学习反馈和前馈权重，摒弃了先前为非结构化平均场变分推断所假设的对称突触权重。所得在线学习规则采取误差调制的局部脉冲时序依赖可塑性规则的形式。重要的是，我们考虑两类WTA电路：仅允许一个神经元同时放电（硬WTA）或神经元可独立放电（软WTA），这使得这些电路中的神经元分别运行于时间编码和速率编码机制。我们展示硬WTA电路如何用于执行吉布斯采样，而软WTA电路如何用于实现近似计算边缘的消息传递算法。值得注意的是，侧抑制量的简单改变实现了硬和软WTA脉冲机制之间的切换。因此，所提网络为脉冲神经元先前两种不同的推断与编码模式提供了统一视角。
引用
@article{arxiv.1911.05943,
title = {Structured Mean-field Variational Inference and Learning in Winner-take-all Spiking Neural Networks},
author = {Shashwat Shukla and Hideaki Shimazaki and Udayan Ganguly},
journal= {arXiv preprint arXiv:1911.05943},
year = {2019}
}