过参数化神经网络的临界轨迹

深度学习中损失函数的诸多几何性质仍属未解之谜。本文致力于更好地理解过参数化前馈神经网络损失函数 $L$ 的几何性质。在此设定下，我们识别了 $L$ 的临界轨迹的若干分量，并研究了它们的几何性质。对于深度 $\ell \geq 4$ 的网络，我们识别出一处临界点轨迹，称之为星形轨迹 $S$。在 $S$ 内部，我们识别出一个正维子轨迹 $C$，其具有如下性质：对于 $p \in C$，$p$ 是退化临界点，且现有理论结果均无法保证梯度下降不会收敛至 $p$。对于极宽网络，我们在先前工作基础上证明了 $L$ 的所有临界点均为退化的，并给出了每个临界点处 Hessian 矩阵零特征值数量的下界。对于既深又极宽的网络，我们比较了所识别出的各不同临界点族处 Hessian 矩阵零特征空间的增长率。本文结果为更定量地理解 $L$ 临界轨迹各分量的性质提供了起点。