面向张量结构输入的低成本高斯张量网络嵌入

本文讨论张量网络嵌入，即具有张量网络结构的随机矩阵（$S$）。这些嵌入已用于执行张量网络结构输入 $x$ 的降维，并加速张量分解和核回归等应用。已有工作针对具有特定结构的输入 $x$ 设计了嵌入，使得计算 $Sx$ 的代价是高效的。我们提供了一种系统的方法来设计由高斯随机张量组成的张量网络嵌入，使得对于具有更一般张量网络结构的输入，草图大小（$S$ 的行数）和草图计算代价都较低。我们分析了可化为一系列草图矩阵的一般张量网络嵌入。我们给出了量化此类嵌入精度的充分条件，并推导了使用满足该条件且草图大小低于任意输入维度的嵌入时的草图渐近代价下界。然后我们提供了一种利用此类嵌入高效草图化输入数据的算法。该算法所用嵌入的草图大小对输入的草图维数呈线性依赖。假设张量缩并采用经典稠密矩阵乘法算法执行，该算法的渐近代价在我们代价下界的 $O(\sqrt{m})$ 倍以内，其中 $m$ 为草图大小。此外，当输入中每个张量都有需被草图化的维度时，该算法给出最优的草图渐近代价。我们将草图分析应用于不精确张量分解优化算法。我们提供了一种在多种情形下渐近快于已有工作的 CP 分解草图算法，并展示了已有张量列舍入算法的最优性。