非光滑低秩矩阵优化问题的低秩外梯度法

低秩非光滑矩阵优化问题涵盖了统计与机器学习中的诸多基本任务。尽管近年来在开发避免维护高秩矩阵与计算昂贵高秩 SVD 的平滑低秩优化高效方法上已取得显著进展，非光滑问题的进展却较为缓慢。本文考虑此类问题的标准凸松弛。主要地，我们证明在自然的广义严格互补条件，以及非光滑目标可写为光滑函数的最大值的相对温和假设下，外梯度法在以“热启动”点初始化时，能以 $O(1/t)$ 的速率收敛到最优解，且每迭代仅需两次低秩 SVD。我们给出了所需 SVD 秩数与方法初始化所需球半径之间的精确权衡。我们以若干非光滑低秩矩阵恢复任务的实证实验支撑理论结果，表明使用简单初始化时，当全秩 SVD 被替换为秩与待恢复（低秩）真实矩阵秩匹配的 SVD 时，外梯度法产生完全相同的迭代序列。