同步相变边缘附近的最优强化学习

近期的实验与理论研究表明，皮层动力学假定的临界性可能对应于同步相变。这种临界点附近的临界动力学仍需进一步研究，尤其是与标准吸收态相变附近的临界行为相比时。由于在学习与自组织临界性（SOC）现象可因脉冲时序依赖可塑性（STDP）的存在而在尖峰神经网络中于同步相变边缘共同涌现，一个自然的问题是：神经网络中同步与学习的关系是什么？进而，学习是否受益于同步相变边缘的 SOC？本文旨在解决这些重要问题。据此，我们构建了一个生物启发的自主认知系统模型，该系统学习执行刺激-响应任务。我们使用通过多巴胺调制的 STDP 实现的强化学习规则来训练该系统。我们发现，随着平均轴突时间延迟的增加，系统表现出从同步到异步神经振荡的连续相变。我们刻画了系统的学习性能，并观察到其在同步相变附近达到最优。我们还研究了系统中的神经元雪崩，并提供证据表明最优学习是在略微超临界的状态中实现的。