通过交替预条件梯度下降从噪声测量中实现高效过参数化矩阵感知

我们考虑过参数化设置下的噪声矩阵感知问题，其中估计的秩 $r$ 大于目标矩阵 $X_\star$ 的真实秩 $r_\star$。具体来说，我们的主要目标是使用过参数化的分解 $LR^\top$ 从噪声测量中恢复一个秩为 $r_\star$ 的矩阵 $X_\star \in \mathbb{R}^{n_1 \times n_2}$，其中 $L \in \mathbb{R}^{n_1 \times r}, \, R \in \mathbb{R}^{n_2 \times r}$ 且 $\min\{n_1, n_2\} \ge r > r_\star$，而 $r_\star$ 是未知的。最近，与普通梯度下降相比，预条件方法被提出以加速矩阵感知问题的收敛，它将预条件项 $(L^\top L + \lambda I)^{-1}$ 和 $(R^\top R + \lambda I)^{-1}$ 纳入原始梯度。然而，这些方法需要仔细调整阻尼参数 $\lambda$，并且对步长敏感。为了解决这些限制，我们提出了交替预条件梯度下降 (APGD) 算法，该算法交替更新两个因子矩阵，消除了对阻尼参数 $\lambda$ 的需求，并能够以更大的步长实现更快的收敛。我们从理论上证明了 APGD 以线性速率收敛到接近最优的误差。我们进一步表明，APGD 可以扩展到处理其他低秩矩阵估计任务，同样具有线性收敛的理论保证。为了验证所提出的 APGD 的有效性和可扩展性，我们在广泛的低秩估计问题上进行了模拟和真实世界实验，包括噪声矩阵感知、加权 PCA、1-比特矩阵补全和矩阵补全。大量结果表明，与现有的替代方法相比，APGD 始终实现了最快的收敛速度和最低的计算时间。