神经网络中的波动-学习关系

神经系统的学习通过神经活动驱动的突触连接变化来实现。学习性能受神经活动和要学习的任务的影响。实验研究表明，学习速度与学习前神经活动的变异性之间存在关联。然而，这种关系的理论基础尚不清晰。本文运用统计物理中的波动-响应关系原理，推导了两种公式，将神经活动与学习速度联系起来。第一个公式表明，学习速度与神经活动的方差以及神经对输入的响应成正比。第二个公式对于小输入，指示速度与神经活动在目标和输入方向上的方差成正比。这两种公式适用于由Hebb或广义学习规则控制的各种学习任务。数值模拟证明，尽管超出其理论假设，公式仍然有效，即使突触连接发生大幅变化时亦然。我们的理论预测，学习速度随神经激活函数的增益和预嵌入记忆数量的增加而增加，因为这两种因素都增强了神经活动波动的方差。此外，这些公式揭示了哪些输入/输出关系更容易学习，与实验数据相符。因此，我们的结果为神经活动波动与学习速度之间的量化关系提供了理论基础，为诸多经验观察提供了见解。