低秩张量回归的近最优草图

我们研究最小二乘回归问题 \begin{align*} \min_{\Theta \in \mathcal{S}_{\odot D,R}} \|A\Theta-b\|_2, \end{align*} 其中 $\mathcal{S}_{\odot D,R}$ 是满足 $\Theta = \sum_{r=1}^{R} \theta_1^{(r)} \circ \cdots \circ \theta_D^{(r)}$ 的 $\Theta$ 的集合，向量 $\theta_d^{(r)} \in \mathbb{R}^{p_d}$ 适用于所有 $r \in [R]$ 和 $d \in [D]$，$\circ$ 表示向量的外积。也就是说，$\Theta$ 是一个低维、低秩张量。这一动机源于 $\Theta$ 中的参数数量仅为 $R \cdot \sum_{d=1}^D p_d$，显著小于普通最小二乘回归中 $\prod_{d=1}^{D} p_d$ 数量的参数。我们考虑上述张量 $\Theta$ 的 CP 分解模型以及 Tucker 分解。对于这两种模型，我们展示了如何应用基于稀疏随机投影 $\Phi \in \mathbb{R}^{m \times n}$（其中 $m \ll n$）的数据降维技术，将问题简化为一个更小的问题 $\min_{\Theta} \|\Phi A \Theta - \Phi b\|_2$，对此如果 $\Theta'$ 是该更小问题的近最优解，那么它也是原问题的近最优解。我们获得了比普通最小二乘回归可能实现的显著更小的维度和 $\Phi$ 中的稀疏性，并且还提供了支持我们理论的多次数值模拟。