状态空间高斯过程模型中的快速变分学习
机器学习
2020-07-20 v2 机器学习
摘要
一维输入的高斯过程（GP）回归常可通过随机微分方程公式在线性时间内完成。然而对于非高斯似然，这需要应用近似推断方法，会使实现变得困难，例如期望传播可能数值不稳定，而变分推断可能计算效率低。本文中，我们提出一种消除此类困难的新方法。基于已有的称为共轭计算变分推断的方法，我们的方法通过 Kalman 递推实现线性时间推断，同时避免数值不稳定与收敛问题。我们提供了高效的 JAX 实现，其利用即时编译并允许通过大型 for 循环进行快速自动微分。总体而言，我们的方法在状态空间 GP 模型中实现了快速且稳定的变分推断，可扩展到具有数百万数据点的时间序列。
引用
@article{arxiv.2007.04731,
title = {Fast Variational Learning in State-Space Gaussian Process Models},
author = {Paul E. Chang and William J. Wilkinson and Mohammad Emtiyaz Khan and Arno Solin},
journal= {arXiv preprint arXiv:2007.04731},
year = {2020}
}
备注
To appear in MLSP 2020