基于采样的概率推断源于神经回路中以可靠性为代价的学习
神经元与认知
2018-07-25 v1
摘要
皮层中的神经响应随时间既发生系统性变化（由于持续的突触可塑性与学习），又呈现看似随机的变化（由于各类噪声与变异性）。以往多数工作孤立地考虑学习与变异性这两个过程——本文研究同时展现两者的神经网络，并表明它们的相互作用导致了强大计算特性的涌现。我们在经典无监督学习任务上训练神经网络，其目标是将输入以高效、易解码的形式表示，并附加一项源于基本生物物理考虑的神经可靠性代价。这一可靠性代价在能量低廉但不准确的表征与能量高昂但准确的表征之间引入了权衡。尽管学习任务本身是非概率性的，网络通过发展出一种概率表征来解决该权衡：神经变异性表示对其输入执行概率推断所产生的统计上恰当的后验分布的样本。我们通过揭示可靠性代价与最先进贝叶斯推断策略（变分自编码器）的目标之间的联系，对该结果提供了分析性理解。我们表明，同一代价导致随着网络变得愈发复杂（从单层前馈、经多层前馈到循环架构）而涌现愈发准确的概率表征。我们的结果揭示了感觉区神经响应为何呈现基于采样的概率表征特征，并可能为未来的深度学习算法及其在随机低精度计算系统中的实现提供启示。
引用
@article{arxiv.1807.08952,
title = {Sampling-based probabilistic inference emerges from learning in neural circuits with a cost on reliability},
author = {Laurence Aitchison and Guillaume Hennequin and Mate Lengyel},
journal= {arXiv preprint arXiv:1807.08952},
year = {2018}
}