高斯过程回归中共轭梯度和Lanczos近似后验的收缩率
机器学习
2024-06-19 v1 机器学习
统计理论
统计理论
摘要
由于其灵活性和理论可处理性，高斯过程（GP）回归模型已成为现代统计学和机器学习中的核心主题。虽然这些模型中的真实后验是显式给出的，但数值评估依赖于增广核矩阵的求逆，这需要高达次运算。对于现代应用中典型的大样本量n，这在计算上是不可行的，因此必须使用后验的近似版本。尽管此类方法在实践中被广泛使用，但它们通常缺乏理论支撑。在此背景下，我们分析了来自概率数值计算领域的一类最近提出的近似算法。它们可以解释为核矩阵的Lanczos近似特征向量或后验均值的共轭梯度近似，这在真正的大规模应用中特别有利，因为它们基本上仅基于矩阵向量乘法，适用于现代软件框架的GPU加速。我们将数值分析文献中的结果与核矩阵谱的最新集中结果相结合，以获得极小极大收缩率。我们的理论发现通过数值实验进行了说明。
引用
@article{arxiv.2406.12678,
title = {Contraction rates for conjugate gradient and Lanczos approximate posteriors in Gaussian process regression},
author = {Bernhard Stankewitz and Botond Szabo},
journal= {arXiv preprint arXiv:2406.12678},
year = {2024}
}