简单正则化神经网络中突现的 abrupt 与自发性策略切换

人类有时会获得一种洞见，从而在其所从事的任务上带来突然且剧烈的绩效提升。突然的策略适应常与洞见相关联，被视为人类认知的独特方面，与创造力或元认知推理等复杂过程有关。在此，我们采取学习视角，探讨类洞见行为是否会出现在简单人工神经网络中，即便这些模型仅通过渐进梯度下降学习形成输入输出关联。我们在一项包含隐藏规律、可更高效完成任务的感知决策任务中，比较了人类与正则化神经网络的学习动态。我们的结果显示，仅部分人类发现了该规律，其行为以反映顿悟时刻的突然且 abrupt 的策略切换为标志。值得注意的是，我们发现具有渐进学习规则和恒定学习率的简单神经网络密切模仿了人类类洞见切换的行为特征，表现出洞见延迟、突然性以及仅在某些网络中选择性出现。对网络架构和学习动态的分析揭示，类洞见行为关键依赖于正则化门控机制以及加入梯度更新的噪声，这使得网络能够积累最初被正则化（注意）门控抑制的“沉默知识”。这表明类洞见行为可自然源于简单神经网络中的渐进学习，其反映了噪声、门控与正则化的综合影响。