具有更少随机位、低存储遗忘（张量）子空间嵌入：用于最小二乘的模化方法

本文提出了新的通用模化 Johnson-Lindenstrauss (JL) 子空间嵌入，在处理极大规模向量和/或张量时，比传统 JL 嵌入生成更快且更易存储。随后针对两类不同的低维（张量）子空间证明了相应的嵌入结果。第一类新子空间嵌入结果对秩-$r$ 张量给出了改进的空间复杂度界，这些张量的 CP 分解包含于一组固定（但未知）的 $r$ 个秩一张量基的张成空间中。在传统向量情形下，这第一类结果给出了新的、非常通用的近最优遗忘子空间嵌入构造，当嵌入由具有特殊 Kronecker 结构的基向量张成的 $\mathbb{C}^N$ 子空间时，比标准 JL 嵌入需要更少的随机位来生成。本文证明的第二类结果提供了任意 $r$ 维子空间 $\mathcal{S} \subset \mathbb{C}^N$ 的新快速 JL 嵌入，其同样比标准快速 JL 嵌入方法需要更少的随机位（因而更易存储——即占用更少空间）以实现小的 $\epsilon$ 畸变。这些新遗忘子空间嵌入结果通过 $(i)$ 将 $\mathcal{S}$ 中任意给定向量有效折叠为（未必低秩的）张量，然后 $(ii)$ 将所得张量嵌入 $\mathbb{C}^m$（$m \leq C r \log^c(N) / \epsilon^2$）来工作。本文还考虑了与压缩及快速压缩最小二乘求解方法相关的应用，包括用于拟合低秩 CP 分解的方法，并表明所提 JL 嵌入结果在两类设置中数值上均表现良好。