电路扩展在神经网络学习中的新作用

大脑中许多感觉通路依赖于输入刺激下游稀疏活跃的神经元群体。大脑中出现扩展结构的生物学原因尚不清楚，但可能是因为扩展能增加神经网络的表达能力。在本工作中，我们表明扩展神经网络可改善其泛化性能，即使在扩展结构于学习期后被剪枝的情况下也是如此。为研究此设定，我们使用教师-学生框架，其中感知机教师网络生成带有少量噪声污染的标签。随后我们训练一个在结构上与教师匹配、若给定教师突触权重便可达到最优精度的学生网络。我们发现，在学生感知机网络输入处进行稀疏扩展，既增加了其容量，又在该扩展于学习后被剪枝时改善了其从教师感知机学习含噪规则时的泛化性能。当扩展单元随机且与输入不相关时，我们发现类似行为，并在平均场极限下分析了该网络。我们通过求解平均场方程表明，随机扩展学生网络的泛化误差随网络规模增大而持续下降。尽管学生网络相对于其所试图学习的教师网络复杂度更高，泛化性能的提升依然发生。我们表明该效应与人工神经网络中松弛变量的添加密切相关，并提出了对人工与生物神经网络的可能启示。