近乎最优的张量草图

我们构造一个矩阵 $M\in R^{m\otimes d^c}$，其行数仅为 $m=O(c\,\lambda\,\varepsilon^{-2}\text{poly}\log1/\varepsilon\delta)$，该矩阵以至少 $1-\delta$ 的概率保持任意给定 $R^d$ 的 $\lambda$ 维子空间中所有 $x$ 的范数 $\|Mx\|_2=(1\pm\varepsilon)\|x\|_2$。该矩阵可应用于张量 $x^{(1)}\otimes\dots\otimes x^{(c)}\in R^{d^c}$，耗时为 $O(c\, m \min\{d,m\})$——因此得名“Tensor Sketch”（张量草图）。（此处 $x\otimes y = \text{asvec}(xy^T) = [x_1y_1, x_1y_2,\dots,x_1y_m,x_2y_1,\dots,x_ny_m]\in R^{nm}$。）这改进了 Pagh 和 Pham~[TOCT 2013, SIGKDD 2013] 以及 Avron 等人~[NIPS 2014] 早期的张量草图构造，后者在相同保证下需要 $m=\Omega(3^c\lambda^2\delta^{-1})$ 行。$\lambda$、$\varepsilon^{-2}$ 和 $\log1/\delta$ 这些因子均可证明是必要的，使得我们的草图在对数因子范围内是最优的。通过另一种构造，我们得到多 $\lambda$ 倍的行数 $m=\tilde O(c\,\lambda^2\,\varepsilon^{-2}(\log1/\delta)^3)$，但该矩阵可应用于任意向量 $x^{(1)}\otimes\dots\otimes x^{(c)}\in R^{d^c}$，耗时仅 $\tilde O(c\, (d+m))$。这与 Tensor Sketch 的应用时间相匹配，同时仍改进了关于 $c$ 和 $\log1/\delta$ 的指数依赖。从技术上讲，我们展示了两个主要引理：(1) 对于许多 Johnson Lindenstrauss（JL）构造，若 $Q,Q'\in R^{m\times d}$ 是独立的 JL 矩阵，则逐元素乘积 $Qx \circ Q'y$ 等于某个 $M\in R^{m\times d^2}$ 的 $M(x\otimes y)$，而该 $M$ 本身也是 JL 矩阵。(2) 若 $M^{(i)}\in R^{m\times md}$ 是独立的 JL 矩阵，则 $M^{(1)}(x \otimes (M^{(2)}y \otimes \dots)) = M(x\otimes y\otimes \dots)$ 对某个 $M\in R^{m\times d^c}$ 成立，且该 $M$ 本身也是 JL 矩阵。结合这两个结果给出了对任意大小张量的高效草图。