动态连接组通过基于奖励的学习支持神经回路稳定计算功能的涌现
神经元与认知
2018-01-08 v4 机器学习
神经与进化计算
摘要
大脑中神经元之间的突触连接是动态的，因为持续进行的棘突动态、轴突发芽和其他过程。事实上，最近研究表明棘突动态的自发突触自主成分至少与依赖于突触前和突触后神经活动历史的成分一样大。这些数据与常见的网络可塑性模型不一致，并提出了神经回路如何在这些持续进行的过程中维持稳定计算功能，以及这些持续进行的过程可能有什么功能用途的问题。在此，我们针对基于奖励的学习任务，为这些看似随机的棘突动态和重连过程提供了一个严格的理论框架。我们表明，自发的突触自主过程与多巴胺等奖励信号相结合，可以解释大脑神经元网络为特定计算任务进行自我配置的能力，并自动补偿网络或任务后来的变化。此外，我们通过理论分析和计算机模拟表明，稳定的计算性能与持续进行的突触自主变化是兼容的。在达到良好的计算性能后，它主要导致网络架构和动态在任务无关维度上的缓慢漂移，正如在运动皮层和其他区域的神经活动中观察到的那样。在强化学习的更抽象层面上，由此产生的模型将对奖励驱动的网络可塑性的理解视为网络配置的连续采样。
引用
@article{arxiv.1704.04238,
title = {A dynamic connectome supports the emergence of stable computational function of neural circuits through reward-based learning},
author = {David Kappel and Robert Legenstein and Stefan Habenschuss and Michael Hsieh and Wolfgang Maass},
journal= {arXiv preprint arXiv:1704.04238},
year = {2018}
}