低秩矩阵优化中矩阵指数梯度算法的高效实现

谱多面体（即所有迹为单位的实 $n\times n$ 半正定矩阵的集合）上的凸优化在机器学习、信号处理与统计学中有重要应用，主要作为低秩矩阵优化问题的凸松弛。它也是凸优化一阶方法理论中最显著的例子之一，其中非欧方法可明显优于其欧氏对应方法。特别地，可取的选择是基于（负）冯·诺依曼熵诱导的 Bregman 距离的矩阵指数梯度（MEG）方法。不幸的是，实现 MEG 需要在每次迭代上进行完整的 SVD 计算，无法扩展到高维问题。本工作中我们提出了 MEG 的高效实现，包含确定性与随机梯度两种，专为低秩矩阵优化定制，且每次迭代仅使用一次低秩 SVD 计算。我们还提供了可有效计算的证明我们方法正确收敛的证书。主要地，我们证明在严格互补条件下，所提方法从“热启动”初始化出发以与其基于完整 SVD 的对应方法相似的速率收敛。最后，我们给出了实证实验，既支持我们的理论发现，又展示了我们方法的实际吸引力。