基于列向线性与二次投影的快速且样本高效的联邦低秩矩阵恢复

我们研究如下鲜为人知的低秩（LR）恢复问题：从对其 $q$ 列中每一列的 $m$ 个独立线性投影，即 $y_k := A_k x^*_k , k \in [q]$（其中 $y_k$ 为长度 $m$ 的向量且 $m < n$），恢复一个 $n \times q$ 秩-$r$ 矩阵 $X^* =[x^*_1 , x^*_2, ..., x^*_q]$，且 $r \ll \min(n,q)$。矩阵 $A_k$ 已知且对不同 $k$ 相互独立。我们提出一种基于梯度下降（GD）的新解法 AltGD-Min。我们证明，若 $A_k$ 具有独立同分布的高斯 entries 且 $X^*$ 的右奇异向量满足不相干假设，则以 $\epsilon$ 精度恢复 $X^*$ 所需总样本量为阶 $(n+q) r^2 \log(1/\epsilon)$，时间为阶 $mq nr \log (1/\epsilon)$。与现有工作相比，这是最快的解法。对于 $\epsilon < r^{1/4}$，它还具有最优样本复杂度。AltGD-Min 的一个简单扩展还可证明地解决 LR 相位恢复，即上述问题的仅幅度推广。AltGD-Min 将未知 $X$ 分解为 $X = UB$，其中 $U$ 和 $B$ 分别为具有 $r$ 列和 $r$ 行的矩阵。它在更新 $U$ 的（投影）GD 步与更新 $B$ 的最小化步之间交替。其每次迭代与常规投影 GD 一样快，因为对 $B$ 的最小化按列解耦。同时，我们能证明其指数级误差衰减，而对投影 GD 则无法证明。最后，它还可高效联邦化，每节点通信成本仅为 $nr$，而非投影 GD 的 $nq$。