确定性低秩矩阵逼近的相对误差

我们考虑根据一种称为 Frequent Directions (Liberty, KDD 2013) 的最新算法，在具有行更新的数据流中处理 $n \times d$ 矩阵 $A$。该算法确定性地将维护一个 $l \times d$ 矩阵 $Q$，处理每一行的时间为 $O(d l^2)$；通过对算法进行轻微修改并略微增加空间开销，处理时间可降低至 $O(d l)$。我们证明，如果设定 $l = k + k/\epsilon$ 并返回 $Q_k$（即 $Q$ 的最佳秩 $k$ 逼近，为一个 $k \times d$ 矩阵），则可实现以下性质：$||A - A_k||_F^2 \le ||A||_F^2 - ||Q_k||_F^2 \le (1+\epsilon) ||A - A_k||_F^2$，且若 $\pi_{Q_k}(A)$ 是 $A$ 到 $Q_k$ 行空间上的投影，则 $||A - \pi_{Q_k}(A)||_F^2 \le (1+\epsilon) ||A - A_k||_F^2$。我们还表明，Frequent Directions 无法以显而易见的方式适配为稀疏版本以保留矩阵的 $l$ 个原始行，而非行的线性组合或草图 (sketch)。