论稳定秩在深度网络中的影响

近期一系列工作建立了深度神经网络（DNN）模型的泛化/压缩性质与所谓层权重的稳定秩之间的有趣联系。直观上，后者是网络中有效参数数量的指示器。在这项工作中，我们针对以层稳定秩为条件的DNN空间解决一些自然问题，其中我们研究前馈动力学、初始化、训练与表达能力。为此，我们首先提出一种基于稳定秩新采样方案的随机DNN模型。然后，我们展示前馈映射如何受该约束影响，以及训练如何在过参数化 regime 中演化（经由神经切线核）。我们的结果表明稳定秩在层上本质上表现为线性因子，其效应沿深度呈指数级累积。此外，我们提供的实证分析表明，仅稳定秩初始化即可带来收敛加速。