用于高效高斯过程推断的新型选主元 Cholesky 分解
机器学习
2025-07-29 v1
摘要
Cholesky 分解是求解对称正定矩阵线性系统的基本工具，这类矩阵在线性代数、优化和机器学习中无处不在。通过引入一种迭代置换矩阵行和列的主元策略，可以提高其数值稳定性。主元索引的顺序决定了中间分解能在何种精度上重构原始矩阵，因此在提前终止的情况下对算法的效率起决定性作用。标准实现从对角线上的最大值中选择下一个主元。在贝叶斯非参数推断中，该策略对应于贪婪熵最大化，常用于主动学习和实验设计。我们详细探讨了这一联系，并推导出 Cholesky 分解的新型主元策略。所得算法在减少数据集上的不确定性方面更为高效，能够更新以包含观测信息，并额外受益于定制化的实现。我们在对高斯过程重要的两个任务上基准测试了新选择策略的有效性：稀疏回归和基于预条件迭代求解器的推断。结果表明，所提出的选择策略与传统基线持平，或在大多数情况下优于传统基线，同时仅需可忽略的额外计算量。
关键词
引用
@article{arxiv.2507.20678,
title = {Novel Pivoted Cholesky Decompositions for Efficient Gaussian Process Inference},
author = {Filip de Roos and Fabio Muratore},
journal= {arXiv preprint arXiv:2507.20678},
year = {2025}
}