非凸矩阵分解的对称性、鞍点与全局优化景观

我们提出了一种通用理论，用于研究一类机器学习问题（例如低秩矩阵分解、相位恢复和深度线性神经网络）中具有潜在对称结构的非凸优化景观。具体而言，我们通过不变群的视角刻画了目标函数的驻点位置与 Hessian 矩阵的零空间。作为一个主要的启发性示例，我们将所提出的通用理论应用于刻画低秩矩阵分解问题中非凸优化的全局景观。特别地，我们阐明了旋转对称群如何产生目标函数的无限多非孤立严格鞍点与等价全局极小值。通过显式识别所有驻点，我们将整个参数空间划分为三个区域：($\cR_1$) 包含所有严格鞍点邻域的区域，此处目标函数具有负曲率；($\cR_2$) 包含所有全局极小值邻域的区域，此处目标函数沿特定方向具有强凸性；以及 ($\cR_3$) 上述区域的补集，此处梯度具有足够大的幅值。我们进一步将结果推广至矩阵感知问题。这种全局景观意味着，对于使用任意初始解的常用迭代算法，具有强有力的全局收敛保证。