连接结构如何塑造神经环路中的丰富学习与懒惰学习

在理论神经科学中，近期工作借助深度学习工具探究某些网络属性如何关键地影响其学习动态。值得注意的是，具有小（或大）方差的初始权重分布可能产生丰富（或懒惰）机制，即在学习过程中观察到网络状态和表征发生显著（或微小）变化。然而在生物学中，神经环路连接可能呈现低秩结构，因而与此类研究通常使用的随机初始化明显不同。为此，本文研究初始权重的构型——尤其是其有效秩——如何影响网络学习机制。通过实证与理论分析，我们发现高秩初始化通常产生较小的网络变化，表明更懒惰的学习，这一发现我们也在循环神经网络中以实验驱动的初始连接性得到证实。相反，低秩初始化使学习偏向更丰富的学习。但重要的是，作为该规则的一个例外，我们发现当低秩初始化与任务和数据统计对齐时，仍可能出现更懒惰的学习。我们的研究凸显了初始权重结构在塑造学习机制中的关键作用，并对可塑性的代谢成本与灾难性遗忘的风险具有启示意义。