因子化梯度下降中可证收敛的加速及其在矩阵感知中的应用

我们给出了关于具有 $\ell_2$-范数损失的矩阵分解模型中\emph{非凸}加速梯度下降收敛性的理论结果。本工作的目的是研究加速在非凸设定中的效应，其中带加速的可证收敛不应被视为\emph{理所当然}的性质。该技术被应用于矩阵感知问题，以估计秩为 $r$ 的最优解 $X^\star \in \mathbb{R}^{n \times n}$。我们的贡献可总结如下。$i)$ 我们证明因子化梯度下降中的加速以线性速率收敛；在常见假设下，这一事实对非凸矩阵分解设定而言是新颖的。$ii)$ 我们的证明技术需要基于问题的性质（如 $X^\star$ 的条件数与目标函数的条件数）仔细选取加速参数。$iii)$ 目前，我们的证明在收缩参数中导致与条件数（们）相同的依赖关系，类似于近期关于非加速算法的结果。$iv)$ 加速在实践中有观测到，既在合成示例中，也在两个真实应用中：从单电极记录恢复神经元多单元活动，以及在量子计算模拟器上进行量子态层析。