超越过参数化张量分解的惰性训练

过参数化是训练神经网络的一项重要技术。在理论与实践中,训练更大的网络可使优化算法避免糟糕的局部最优解。在本文中,我们研究一个紧密相关的张量分解问题:给定 $(R^d)^{\otimes l}$ 中秩为 $r$(其中 $r\ll d$)的 $l$ 阶张量,梯度下降的变体能否找到秩为 $m$ 的分解,其中 $m > r$?我们表明,在惰性训练机制(类似于神经网络的 NTK 机制)下,至少需要 $m = \Omega(d^{l-1})$,而梯度下降的一种变体可在 $m = O^*(r^{2.5l}\log d)$ 时找到近似张量。我们的结果表明,过参数化目标上的梯度下降可以超越惰性训练机制,并利用数据中的某些低秩结构。