选择性多重幂迭代：从张量PCA到基于梯度的景观探索

我们提出选择性多重幂迭代（SMPI），一种解决重要张量PCA问题的新算法，该问题旨在恢复被高斯噪声张量 $\bf{Z} \in (\mathbb{R}^n)^{\otimes k}$ 污染的尖峰 $\bf{v_0}^{\otimes k}$，满足 $\bf{T}=\sqrt{n} \beta \bf{v_0}^{\otimes k} + \bf{Z}$，其中 $\beta$ 为信噪比（SNR）。SMPI 生成多项式数量的随机初始化，对每个初始化执行多项式数量的对称化张量幂迭代，然后选择使 $\langle \bf{T}, \bf{v}^{\otimes k} \rangle$ 最大化的一个。针对常规考量范围 $n \leq 1000$ 内 $k=3$ 的多种数值模拟表明，SMPI 的实验性能较现有算法大幅提升，并接近理论最优恢复。我们表明，这些出乎意料的性能源于一种强大机制，其中噪声在信号恢复中发挥关键作用，且发生于低 $\beta$ 下。此外，该机制源于 SMPI 区别于以往基于幂迭代算法的五个本质特征。这些显著结果可能对张量PCA的实际与理论应用产生强烈影响。（i）我们提供该算法的一种变体以应对低秩CP张量分解。所提算法即使在真实数据上也优于现有方法，展现出巨大的实际应用潜力。（ii）我们对 SMPI 与梯度下降方法在多种机器学习问题所涉高维非凸景观中优化的行为提出新的理论见解。（iii）我们预期这些结果有助于关于所猜想的统计-算法鸿沟存在的讨论。