通过强化学习产生混合计算动力学

理解学习算法如何塑造神经网络中显现计算策略的挑战仍是机器智能的根本问题。虽然网络结构受到广泛关注，但学习范式在决定显现动力学方面的作用仍 largely 未被探索。本文演示，强化学习(RL)和监督学习(SL)在训练相同的决策任务时，导致循环神经网络(RNN)走向根本不同的计算解决方案。通过系统的动力系统分析，我们揭示RL自主发现混合吸引子体系结构，结合维持决策的稳定固定点吸引子与灵活证据集成的准周期吸引子。与SL显著不同，后者几乎仅收敛于更简单的固定点唯一解决方案。我们进一步表明，RL通过一种强大的隐式正则化形式塑造功能均衡的神经群体——这种结构特征增强了鲁棒性，而SL训练的网络所见的更异质解决方案中则缺乏这一特征。这些复杂动力学在RL中出现的频率可通过权重初始化进行调控，并与性能提升密切相关，尤其在任务复杂性增加时更为显著。我们的结果确立了学习算法作为显现计算的主要决定因素，揭示了奖励基于优化如何自主发现不易被直接梯度优化获取的复杂动力学机制。这些发现提供了关于神经计算的机制性见解以及用于设计自适应AI系统的可操作原理。