用稀疏矩阵表示加性高斯过程

在广义加性模型中，加性 Matérn 高斯过程（GPs）是可扩展高维问题中最受欢迎的模型之一。得益于其加性结构和随机微分方程表示，基于回拟合（back-fitting）的算法可将计算后验均值的时间复杂度从 $O(n^3)$ 降低到 $O(n\log n)$，其中 $n$ 为数据规模。然而，将这些算法推广以高效计算后验方差和最大对数似然仍是一个开放问题。在本研究中，我们证明对于加性 Matérn GPs，不仅后验均值，而且后验方差、对数似然以及这三个函数的梯度都可以仅由涉及稀疏矩阵和稀疏向量的公式表示。我们展示了如何利用这些稀疏公式将基于回拟合的算法推广，以在 $O(n \log n)$ 时间内高效计算加性 GPs 的后验均值、后验方差、对数似然及这三个函数的梯度。我们将算法应用于贝叶斯优化，并提出了在贝叶斯优化中用于后验更新、超参数学习以及采集函数及其梯度计算的高效算法。给定后验，我们的算法将计算采集函数及其梯度的时间复杂度从 $O(n^2)$ 显著降低至 $O(\log n)$（对于一般学习率），而对于小学习率甚至降至 $O(1)$。