具有正交权重的深度网络中的特征学习与泛化

权重从独立高斯分布初始化的全连接深度神经网络可被调节至临界性，从而防止信号在网络中传播时的指数增长或衰减。然而，此类网络仍表现出随网络深度线性增长的涨落，这可能损害宽度与深度相当的网络训练。我们分析表明，具有 tanh 激活函数且权重从正交矩阵集合中初始化的矩形网络，其相应的预激活涨落在逆宽度主导阶上与深度无关。此外，我们通过数值证明，在初始化时，所有涉及神经切线核（NTK）及其在逆宽度主导阶上的衍生量的关联函数——它们控制训练期间可观测量的演化——在深度约 $\sim 20$ 时即达到饱和，而非像高斯初始化那样无界增长。我们推测这种结构在保留有限宽度特征学习的同时降低了整体噪声，从而改善了深度与宽度相当的深度网络的泛化与训练速度。我们通过将 NTK 的经验测量与在全批量梯度下降下于 MNIST 和 CIFAR-10 分类任务上训练的深度非线性正交网络的优越性能相关联，提供了一些实验依据。