基于Kullback-Leibler最小化的稀疏Cholesky分解

我们提出通过最小化高斯分布 $\mathcal{N}(0, \Theta)$ 与 $\mathcal{N}(0, L^{-\top} L^{-1})$ 之间的Kullback-Leibler散度，在稀疏性约束下计算稠密协方差矩阵 $\Theta$ 的稀疏近似逆Cholesky因子 $L$。令人惊讶的是，该问题具有可高效计算的闭式解，恢复了空间统计中流行的Vecchia近似。基于近期关于在点集 $\{x_{i}\}_{1 \leq i \leq N} \subset \mathbb{R}^{d}$ 处成对评估椭圆边值问题格林函数所得 $\Theta$ 的逆Cholesky因子的近似稀疏性结果，我们提出了一种消元顺序和稀疏模式，使得我们能够以空间复杂度 $\mathcal{O}(N \log(N/\epsilon)^d)$ 和时间复杂度 $\mathcal{O}(N \log(N/\epsilon)^{2d})$ 计算此类 $\Theta$ 的 $\epsilon$-近似逆Cholesky因子。据我们所知，这是该类问题的最佳渐近复杂度。此外，我们的方法极易并行，自动利用数据中的低维结构，并能在线性（关于 $N$）空间复杂度下执行高斯过程回归。受我们方法最优性性质的启发，我们提出了将其应用于高斯过程回归中训练点与预测点联合协方差的方法，大幅改善了稳定性与计算成本。最后，我们展示了如何将我们的方法应用于带加性噪声的高斯过程这一重要场景，且不牺牲精度或计算复杂度。