关于带低秩投影的投影梯度法在迹范数球上光滑凸最小化及相关问题中的收敛性

在单位迹范数球上的光滑凸最小化是机器学习、信号处理、统计学及其他领域中的一个重要优化问题，它构成了许多任务的基础，这些任务希望在给定某些测量值时恢复一个低秩矩阵。虽然凸优化的首阶方法具有最优收敛速率，但在最坏情况下它们需要在每次迭代计算完整秩 SVD，以计算到迹范数球上的投影。然而，这些完整秩 SVD 计算阻碍了此类方法在大规模问题上的应用。一种降低计算成本的简单而自然的启发式方法是仅使用低秩 SVD 来近似投影。这就提出了这样的问题：这种简单启发式方法是否以及在某些条件下能否确实导致可证明收敛到最优解。在本文中，我们证明任何最优解都是一个欧几里得球的中心，在该球内投影梯度映射所允许的秩至多等于梯度向量最大奇异值的重数。此外，该球的半径随该梯度向量的谱间隙而缩放。我们展示这如何直接意味着标准首阶方法仅使用低秩 SVD 计算的局部收敛（即，从“热启动”初始化开始）。我们还量化了“过参数化”的影响，即使用更高秩的 SVD 计算，对该球半径的作用，表明其可随适度更大的秩而急剧增大。我们将结果也推广到带迹范数正则化的优化以及有界迹半正定矩阵上的优化设定。我们的理论探究得到具体经验证据的支持，这些证据展示了带低秩投影的首阶方法在真实世界数据集上的正确收敛。