神经网络中涌现现象的量化：来自剪枝与训练动力学的洞见

涌现现象——即复杂行为如何通过网络中简单组件的相互作用而产生——在增强神经网络能力方面发挥着关键作用。我们引入了一个量化框架，用于在训练过程中衡量涌现现象，并探讨其对网络性能的影响，尤其关注与剪枝和训练动力学的关系。我们的假设认为，涌现程度——即活跃节点与非活跃节点之间连通性的度量——可以预测网络中涌现行为的发展。通过在基准数据集上进行使用馈前馈和卷积结构的实验，我们展示了更高的涌现程度与更好的可训练性和性能之间存在关联。我们进一步探讨了网络复杂度与损失景观之间的关系，表明更高的涌现程度表明局部极小值更集中，损失景观更为陡峭。剪枝通过移除冗余节点和连接来降低网络复杂度，被证明可以提高训练效率和收敛速度，尽管可能导致最终准确率下降。这些发现为理解神经网络中涌现、复杂度与性能之间的相互作用提供了新的见解，为设计和优化更高效的体系结构提供了宝贵的启示。