稠密核矩阵在近线性计算复杂度下的压缩、求逆与近似主成分分析

由协方差函数$G$在位置$\{ x_{i} \}_{1 \leq i \leq N} \subset \mathbb{R}^{d}$上的点赋值得到的稠密核矩阵$\Theta \in \mathbb{R}^{N \times N}$出现在统计学、机器学习和数值分析中。对于作为椭圆边值问题格林函数的协方差函数和均匀分布的采样点，我们展示了如何识别一个子集$S \subset \{ 1 , \dots , N \}^2$，满足$\# S = O ( N \log (N) \log^{d} ( N /\epsilon ) )$，使得稀疏矩阵$\Theta_{ij} 1_{( i, j ) \in S}$的零填充不完全Cholesky分解是$\Theta$的一个$\epsilon$-近似。该分解可在空间复杂度$O ( N \log( N ) \log^{d}( N /\epsilon) )$和时间复杂度$O ( N \log^{2}( N ) \log^{2d}( N /\epsilon) )$内可证明地获得，改进了针对一般椭圆算子的现有技术水平；我们进一步提供了数值证据，表明$d$可以取为数据集的内蕴维度而非环境空间的维度。该算法仅需知道$x_{i}$的空间配置，不需要$G$的解析表示。此外，该分解直接提供了一种在算子范数下具有最优收敛速度的近似稀疏主成分分析。因此，仅通过使用子采样和不完全Cholesky分解，我们便以近线性复杂度获得了一大类协方差矩阵的压缩、求逆和近似主成分分析。通过反转Cholesky分解的顺序，我们还获得了一个椭圆偏微分方程求解器，其空间复杂度为$O ( N \log^{d}( N /\epsilon) )$，时间复杂度为$O ( N \log^{2d}( N /\epsilon) )$，改进了针对一般椭圆算子的现有技术水平。