深度高斯过程的稀疏展开
机器学习
2023-05-02 v3 机器学习
摘要
在本工作中，我们使用深度高斯过程（Deep Gaussian Processes, DGP）作为具有复杂分布的随机过程的统计代理。DGP模型的常规推断方法可能因需要对核矩阵进行大规模运算以进行训练和推断而面临高计算复杂度。在本工作中，我们提出一种基于一系列高斯过程（称为张量马尔可夫高斯过程（Tensor Markov Gaussian Processes, TMGP））的精确推断与高效训练方案。我们构造了TMGP的诱导近似，称为层次化展开。接下来，我们开发了深度TMGP（DTMGP）模型，作为多个TMGP层次化展开的组合。所提出的DTMGP模型具有以下性质：(1) 每个激活函数的输出是确定性的，而权重独立选自标准高斯分布；(2) 在训练或预测中，仅 polylog(M)（共 M 个）激活函数具有非零输出，这显著提升了计算效率。我们在合成模型与真实数据集上的数值实验显示了DTMGP相对于现有DGP模型的优越计算效率。
引用
@article{arxiv.2112.05888,
title = {A Sparse Expansion For Deep Gaussian Processes},
author = {Liang Ding and Rui Tuo and Shahin Shahrampour},
journal= {arXiv preprint arXiv:2112.05888},
year = {2023}
}