鲁棒矩阵恢复的子梯度法全局收敛：小初始化、含噪测量与过参数化

在这项工作中，我们研究了子梯度法（SubGM）在具有 $\ell_1$ 损失的低秩矩阵恢复的自然非凸非光滑形式上的表现，其目标是从有限数量的测量中恢复低秩矩阵，其中一部分测量可能被严重噪声破坏。我们研究一种真实解秩未知而被过高估计的情形。秩的过高估计产生了一种过参数化模型，其中自由度多于所需。这种过参数化可能导致过拟合，或对算法性能产生不利影响。我们证明，具有小初始化的简单 SubGM 对过参数化和测量中的噪声均不敏感。特别地，我们表明小初始化消除了过参数化对 SubGM 性能的影响，使其收敛速率获得指数级提升。此外，我们提供了首个统一框架，用于分析 SubGM 在离群值和高斯噪声模型下的行为，表明 SubGM 收敛到真实解，即使在任意大且任意密集的噪声值下，并且——或许令人惊讶地——即使全局最优解不对应于真实值。我们结果的核心是一个称为 Sign-RIP 的受限等距性质的鲁棒变体，它控制 $\ell_1$ 损失的次微分与理想期望损失的次微分之间的偏差。作为我们结果的副产品，我们考虑一类具有高斯测量的鲁棒低秩矩阵恢复，并表明保证 SubGM 全局收敛所需的样本数与过参数化秩无关。