神经网络的集体变量：经验演化与尺度定律

本工作提出了一种新型方法，用于理解神经网络中的学习动力学和尺度关系。我们展示，神经网络谱上某些测度，特别是熵和迹，能够提供有关神经网络所学习的表征以及如何通过架构缩放来改进这些表征的见解。首先在测试案例上演示这些结果，再在更复杂的网络上展示，包括变换器、自动编码器、图神经网络和强化学习研究。在广泛的架构测试中，我们凸显了训练动力学的普遍性，并进一步讨论了如何利用这一点来理解神经网络学习背后的机制。我们确定了贯穿机器学习训练过程的两种主要机制。第一种是信息压缩，通过在训练期间降低NTK谱的熵而实现，主要发生在小型神经网络中。第二种被称为结构形成，表现为NTK谱熵的增加，从而在神经网络表示中创建超出网络初始化时先验设定的结构。由于后者在深层神经网络架构中普遍存在，并且在创建丰富特征表征方面具有灵活性，我们认为该形式的网络熵演化可被视为深度学习范式的开始。