深度线性神经网络的损失景观：二阶分析

我们研究了具有平方损失的深度线性神经网络的优化景观。已知在较弱假设下，不存在伪局部极小值和局部极大值。然而，非严格鞍点的存在性与多样性——它们可能在以一阶算法动力学中发挥作用——仅被轻微研究。我们进一步对二阶优化景观进行了完整分析。我们在所有临界点中刻画了哪些是全局极小化子、严格鞍点与非严格鞍点。我们枚举了所有相关的临界值。该刻画简洁，涉及偏矩阵乘积秩的条件，并为优化线性神经网络时已证明或观察到的全局收敛性或隐式正则化提供了一些启示。顺便，我们给出了所有全局极小化子集合的显式参数化，并展示了严格与非严格鞍点的大集合。