Kronecker积回归与低秩近似的最优草图算法

我们研究Kronecker积回归问题，其中设计矩阵是两个或多个矩阵的Kronecker积。给定 $A_i \in \mathbb{R}^{n_i \times d_i}$（$i=1,2,\dots,q$），其中每个 $i$ 满足 $n_i \gg d_i$，以及 $b \in \mathbb{R}^{n_1 n_2 \cdots n_q}$，令 $\mathcal{A} = A_1 \otimes A_2 \otimes \cdots \otimes A_q$。则对于 $p \in [1,2]$，目标是找到 $x \in \mathbb{R}^{d_1 \cdots d_q}$ 使得 $\|\mathcal{A}x - b\|_p$ 近似最小。最近，Diao、Song、Sun和Woodruff（AISTATS，2018）给出了一种比构造Kronecker积 $\mathcal{A}$ 更快的算法。具体而言，对于 $p=2$，其运行时间为 $O(\sum_{i=1}^q \text{nnz}(A_i) + \text{nnz}(b))$，其中nnz$(A_i)$ 是 $A_i$ 中非零元素个数。注意nnz$(b)$ 可高达 $n_1 \cdots n_q$。对于 $p=1$、$q=2$ 且 $n_1 = n_2$，他们得到了更差的界 $O(n_1^{3/2} \text{poly}(d_1d_2) + \text{nnz}(b))$。本工作中，我们提供了显著更快的算法。对于 $p=2$，我们的运行时间为 $O(\sum_{i=1}^q \text{nnz}(A_i) )$，不依赖于nnz$(b)$。对于 $p<2$，我们的运行时间为 $O(\sum_{i=1}^q \text{nnz}(A_i) + \text{nnz}(b))$，与之前 $p=2$ 的最佳运行时间相匹配。我们还考虑了相关的全配对回归问题，其中给定 $A \in \mathbb{R}^{n \times d}, b \in \mathbb{R}^n$，我们希望求解 $\min_{x} \|\bar{A}x - \bar{b}\|_p$，其中 $\bar{A} \in \mathbb{R}^{n^2 \times d}, \bar{b} \in \mathbb{R}^{n^2}$ 由 $A,b$ 各行所有两两差值构成。对于 $p \in[1,2]$，我们给出了 $O(\text{nnz}(A))$ 时间算法，改进了构造 $\bar{A}$ 所需的 $\Omega(n^2)$ 时间。最后，我们开创了Kronecker积低秩与低 $t$-秩近似的研究。对于上述输入 $\mathcal{A}$，我们给出 $O(\sum_{i=1}^q \text{nnz}(A_i))$ 时间算法，远快于计算 $\mathcal{A}$。