GPyTorch：基于黑盒矩阵-矩阵高斯过程推断与 GPU 加速
机器学习
2021-07-01 v6 机器学习
摘要
尽管可扩展模型取得了进展，用于高斯过程（GPs）的推断工具尚未充分利用计算硬件的发展。我们提出一种基于黑盒矩阵-矩阵乘法（BBMM）的高效通用 GP 推断方法。BBMM 推断使用改进的共轭梯度算法批处理版本，在单次调用中导出训练与推断所需的所有项。BBMM 将精确 GP 推断的渐近复杂度从 降至 。使该算法适应可扩展近似和复杂 GP 模型仅需一个用核及其导数进行高效矩阵-矩阵乘法的例程。此外，BBMM 使用专用预条件子来大幅加速收敛。在实验中，我们展示 BBMM 有效利用 GPU 硬件来显著加速精确 GP 推断与可扩展近似。此外，我们提供 GPyTorch，一个基于 PyTorch 构建的通过 BBMM 进行可扩展 GP 推断的软件平台。
引用
@article{arxiv.1809.11165,
title = {GPyTorch: Blackbox Matrix-Matrix Gaussian Process Inference with GPU Acceleration},
author = {Jacob R. Gardner and Geoff Pleiss and David Bindel and Kilian Q. Weinberger and Andrew Gordon Wilson},
journal= {arXiv preprint arXiv:1809.11165},
year = {2021}
}
备注
NeurIPS 2018. Most recent version includes additional details on preconditioned BBMM