含噪声、混沌与延迟的平衡神经网络中的预测编码
神经元与认知
2020-06-26 v1 无序系统与神经网络
机器学习
摘要
生物神经网络面临一项艰巨任务:在单个神经元固有的随机性、不精确指定的突触连接以及突触传递中不可忽略的延迟面前执行可靠计算。对抗此类生物异质性的一种常见方法是对由 个神经元组成的庞大冗余网络取平均,由此产生的编码误差按经典的 减小。近期工作展示了一种新机制,其中递归脉冲网络可高效编码动态刺激,实现编码误差按 减小的超经典标度。该特定机制涉及两个关键思想:预测编码,以及强前馈输入与强递归反馈之间的紧密平衡或抵消。然而,支配平衡预测编码效能及其对噪声、突触权重异质性和通信延迟鲁棒性的理论原理仍知之甚少。为发现此类原理,我们引入了一个解析可处理的平衡预测编码模型,其中平衡程度与权重无序程度可像以往平衡网络模型那样被解耦,并发展了编码精度的平均场理论。总体而言,我们的工作提供并求解了一个通用理论框架,用于剖析神经噪声、突触无序、混沌、突触延迟与平衡对预测神经编码保真度的差异化贡献,揭示了平衡在实现超经典标度中的根本作用,并统一了理论神经科学中先前互不相干的模型。
引用
@article{arxiv.2006.14178,
title = {Predictive coding in balanced neural networks with noise, chaos and delays},
author = {Jonathan Kadmon and Jonathan Timcheck and Surya Ganguli},
journal= {arXiv preprint arXiv:2006.14178},
year = {2020}
}