子空间草图问题的紧界及其应用

在子空间草图问题中，给定一个具有$O(\log(nd))$比特元素的$n\times d$矩阵$A$，并希望以任意方式压缩它来构建一个小空间数据结构$Q_p$，使得对于任意给定的$x \in \mathbb{R}^d$，以至少$2/3$的概率有$Q_p(x)=(1\pm\epsilon)\|Ax\|_p$，其中$p\geq 0$，且随机性来自$Q_p$的构造。核心问题是：存储$Q_p$需要多少比特？该问题可应用于矩阵乘积中非零元个数近似的通信、投影聚类核心集的大小、行更新模型中回归的流式算法内存，以及泛函分析中$L_p$子空间的嵌入。一个主要的开放问题是对近似因子$\epsilon$的依赖性。我们证明若$p\geq 0$不是正偶数且$d=\Omega(\log(1/\epsilon))$，则必要比特数为$\tilde{\Omega}(\epsilon^{-2}d)$。另一方面，若$p$为正偶数，则存在与$\epsilon$无关的$O(d^p\log(nd))$比特的上界。我们的结果在对数因子内是最优的，并特别表明不能将$A$压缩为$O(d)$个“方向”$v_1,\dots,v_{O(d)}$，使得对于任意$x$，$\|Ax\|_1$可由$\langle v_1,x\rangle,\dots,\langle v_{O(d)},x\rangle$很好地近似。我们的下界排除了这些内积的任意函数（事实上排除了由$A$构建的任意数据结构），从而以非常强的意义排除了$\ell_1$奇异值分解的可能性。确实，当$\epsilon\to 0$时，对于$p = 1$空间复杂度变得任意大，而对于$p = 2$其至多为$O(d^2 \log(nd))$。作为我们主要下界的推论，我们获得了广泛应用的新的下界，包括上述应用，其中许多是最优的。