正交可分解函数的特征向量

由谱定理保证的二次型（对称矩阵）的特征分解是应用数学的基础性结果。受近期备受关注的推断问题中发现的共同结构——即正交张量分解、独立成分分析（ICA）、主题模型、谱聚类和高斯混合学习——的启发，我们将特征分解从二次型推广到一类广泛的“正交可分解”函数。我们确定了凸性在此推广中的关键作用，并推广了特征向量的两种传统刻画：首先，二次型的特征向量源于该二次型在球面上的最优值结构。其次，特征向量是幂迭代的不动点。在我们的设定中，我们考虑了幂方法的一个简单一阶推广，称之为梯度迭代。它为基础恢复提供了高效且易于实现的方法。它包含了有影响力的机器学习方法，如基于累积量的快速独立成分分析（FastICA）和用于正交可分解张量的张量幂迭代，作为特例。我们利用离散动力系统的结构理论，对梯度迭代进行了完整的理论分析，证明了几乎必然收敛性和快速（超线性）收敛速率。该分析还扩展到观测函数仅为近似正交可分解的情况，其误差界在维数和其他相关参数（如扰动大小）上是多项式的。我们的扰动结果可被视为经典 Davis-Kahan 定理（关于对称矩阵特征向量扰动）的非线性版本。