利用随机梯度哈密顿蒙特卡洛在深度高斯过程中进行推断
机器学习
2018-11-13 v3 机器学习
摘要
深度高斯过程(DGP)是高斯过程的层次化推广，它将良好校准的不确定性估计与多层模型的高度灵活性相结合。这些模型面临的最大挑战之一是精确推断难以处理。当前最先进的推断方法变分推断(VI)采用对后验分布的高斯近似。这对于一般多峰的后验可能是一个较差的单峰近似。在本工作中，我们提供了后验非高斯特性的证据，并应用随机梯度哈密顿蒙特卡洛方法生成样本。为高效优化超参数，我们引入了滑动窗口MCEM算法。这以比其VI对应方法更低的计算代价显著改善了预测。因此我们的方法确立了DGP推断的新state-of-the-art。
引用
@article{arxiv.1806.05490,
title = {Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonian Monte Carlo},
author = {Marton Havasi and José Miguel Hernández-Lobato and Juan José Murillo-Fuentes},
journal= {arXiv preprint arXiv:1806.05490},
year = {2018}
}