人类与神经网络中上下文学习与权重学习的动态交互

人类学习体现了一种显著的双重性：有时，我们似乎能够遵循逻辑的、组合性的规则，并从结构化的课程中受益（例如，在正规教育中）；而其他时候，我们则依赖渐进式方法或试错法，从随机交错排列的课程中学习效果更好。有影响力的心理学理论通过假设两个性质不同的学习系统来解释这种看似迥异的行为证据——一个用于快速、基于规则的推理，另一个用于缓慢、渐进的适应。目前尚不清楚如何将这些理论与神经网络相协调，因为神经网络通过渐进的权重更新进行学习，因此是后一种学习类型的自然模型，但与前一种学习类型并不明显兼容。然而，最近的证据表明，元学习神经网络和大语言模型能够进行“上下文学习”（ICL）——即从少量示例中灵活把握新任务结构的能力。在此，我们展示了上下文学习与默认的权重学习（IWL）之间的动态交互自然地捕捉了在人类中观察到的广泛学习现象，再现了课程对类别学习和组合任务的影响，并重现了灵活性与保持力之间的权衡。我们的工作展示了涌现的上下文学习如何赋予神经网络根本不同的学习特性，这些特性可以与其固有的权重学习共存，从而为双过程理论和人类认知灵活性提供了一个新颖的视角。