通过Newton-Schulz迭代在Stiefel流形上落地的二阶方法

无需通过球面上的重新映射方法，Riemannian方法通常是一阶的，这在需要高精度时可能限制效率。为此，我们提出了一种无需通过重新映射即可落在Stiefel流形上的二阶方法，证明其具有局部二次（或其不精确变体的超线性）收敛性。该更新由两个分量组成：(i) 旨在减少目标函数的、定义约束函数水平集的切向分量；(ii) 减少不可行性的、同一水平集的法向分量。具体而言，我们通过Newton-Schulz进行法向分量构造，这是一种用于正交化的固定点迭代。此外，我们在Newton-Schulz迭代与Stiefel流形之间建立了几何联系，其中Newton-Schulz沿法向空间移动。对于切向分量，我们构建一个纳入Newton-Schulz的修正Newton方程。在正交Procrustes问题、主成分分析以及真实数据独立成分分析的数值实验表明，所提方法优于现有方法。