OSNAP：通过更稀疏的子空间嵌入加速数值线性代数算法

给定参数 eps,d，“无意识子空间嵌入”（OSE）是定义在 R^{m x n} 矩阵 B 上的分布 D，使得对于 R^n 中任何维度 dim(W) = d 的线性子空间 W，都有 Pr_{B ~ D}(forall x in W ||B x||_2 in (1 +/- eps)||x||_2) > 2/3。我们证明存在一个 OSE，其 m = O(d^2/eps^2)，且 D 支撑集中的每个 B 在每列中恰好有 s=1 个非零元素。这改进了 [Clarkson-Woodruff, arXiv:1207.6365] 中此前已知的最佳界限。对于任何 s=1 的 OSE，我们对 d 的二次依赖是最优的 [Nelson-Nguyen, 2012]。我们还给出了两种 OSE，称为无意识稀疏范数逼近投影（OSNAPs），它们均允许参数设置为 m = \~O(d/eps^2) 且 s = polylog(d)/eps，或者对于任意常数 gamma>0，设置为 m = O(d^{1+gamma}/eps^2) 且 s=O(1/eps)。由于仅为了避免 W 的非零向量落入 B 的核就需要 m >= d，因此该 m 值几乎是优化的。这是首批满足 m=o(d^2) 且具有 s=o(d) 的构造。事实上，我们的 OSNAPs 不过是 [Kane-Nelson, SODA 2012] 中的稀疏 Johnson-Lindenstrauss 矩阵。我们的分析得出的所有 OSE 均使用 O(1)-wise 或 O(log d)-wise 独立哈希函数进行采样，这为转门流应用提供了优于先前工作的效率优势。我们的主要结果本质上是随机矩阵理论中的 Bai-Yin 型定理，可能具有独立兴趣：即我们证明对于任何具有正交列的 U in R^{n x d} 和随机稀疏 B，BU 的所有奇异值均以高概率落在 [1-eps, 1+eps] 内。将 OSNAPs 代入已知的数值线性代数问题算法（如近似最小二乘回归、低秩逼近和杠杆分数逼近）中，意味着所有这些问题的算法都将更快。