动态张量积回归

在这项工作中，我们开创了\emph{动态张量积回归}的研究。给定矩阵 $A_1\in \mathbb{R}^{n_1\times d_1},\ldots,A_q\in \mathbb{R}^{n_q\times d_q}$ 和标签向量 $b\in \mathbb{R}^{n_1\ldots n_q}$，目标是求解设计矩阵 $A$ 为矩阵 $A_1, A_2, \dots, A_q$ 的张量积的回归问题，即 $\min_{x\in \mathbb{R}^{d_1\ldots d_q}}~\|(A_1\otimes \ldots\otimes A_q)x-b\|_2$。在每个时间步，某个矩阵 $A_i$ 发生稀疏变更，目标是维护张量积 $A_1\otimes\ldots \otimes A_q$ 的草图，以便快速更新回归解。每轮从头重新计算解非常缓慢，因此开发能够用新设计矩阵快速更新解的算法十分重要。我们的主要结果是一个动态树数据结构，其中对单个矩阵的任意更新可快速在树中传播。我们展示了该数据结构不仅可用于求解张量积回归的动态版本，还可用于张量积样条回归（岭回归的推广）的动态版本以及维护张量积的低秩近似。