计算矩阵平方根的非凸梯度下降的全局收敛性

尽管近年来有大量研究非凸优化问题中梯度下降技术的工作，但对于许多感兴趣的问题，所有现有结果要么建立了具有良好速率的局部收敛，要么建立了具有高度次优速率的全局收敛。在本文中，我们朝着兼得两者优势迈出了第一步——为计算正定(PD)矩阵平方根这一在数值线性代数中被广泛研究且在机器学习与统计等领域有应用的问题，建立全局收敛并获得良好的收敛速率。给定PD矩阵$M$和PD起点$U_0$，我们证明步长适当选择的梯度下降在$O(\alpha \log (\|M-U_0^2\|_F /\epsilon))$次迭代中找到$M$的一个$\epsilon$精度平方根，其中$\alpha = (\max\{\|U_0\|_2^2,\|M\|_2\} / \min \{\sigma_{\min}^2(U_0),\sigma_{\min}(M) \} )^{3/2}$。我们的结果是首个为该问题建立全局收敛且对每次迭代中的误差具有鲁棒性的结果。我们工作的一个关键贡献是一般的证明技术，我们相信它应进一步激发对机器学习与数值线性代数中其他问题的简单非凸梯度下降算法的确定性和随机变体及其良好全局收敛速率的研究。