幽灵机制：突发学习在循环神经网络中的解析模型

突发学习是循环神经网络 (RNN) 在工作记忆任务上训练时常见的现象。在此类情况下，网络在状态空间中发展出瞬时缓慢区域，从而延长了计算的有效时间尺度。然而，驱动性能骤然提升的机制及其因果作用仍不清晰。为填补这一空白，我们引入了幽灵机制，这是一种过程，使得动力系统在 saddle-node 分叉的残余部位出现瞬时减缓。在降低幽灵点附近的高维动力学后，我们推导出一种一维标准形式，解析地捕捉学习作为由单个尺度参数控制的过程。通过该模型，我们研究了从幽灵点涌现的突发学习形式，并识别出一种临界学习率，其规模随所学习计算时间尺度的反平方关系。在此速率之外，学习通过两种相互作用的模式而崩溃：(i) 梯度消失；(ii) 最小值附近的振荡梯度。这些特征可能在参数更新触发无学习区时，将系统锁定在高置信度但错误预测中——无学习区是梯度消失的参数空间区域。我们在低秩 RNN 中验证了这些预测，发现幽灵点 precedes 突发转变，并进一步在训练于经典工作记忆任务的全秩 RNN 中证明了其普遍性。我们的理论提供了两种解决这些学习困难的方法：增加可训练秩可稳定学习轨迹，而减少输出置信度可缓解陷入无学习区的困境。总体而言，幽灵机制揭示了任务计算需求如何约束优化景观，表明循环神经网络中已知的学习困难部分源于它们必须实现的动力系统。