实践中的自然梯度：高斯过程模型中的非共轭变分推断
机器学习
2018-03-28 v1 机器学习
摘要
自然梯度方法已有效应用于共轭高斯过程模型，但非共轭情形在很大程度上尚未被探索。我们研究了如何在非共轭随机环境中使用自然梯度，并结合超参数学习。我们得出结论，自然梯度可以在实际运行时间方面显著提高性能。对于病态后验，自然梯度方法的优势尤为明显，我们展示了一个普通梯度无法使用的实际场景。我们展示了如何利用自动微分，在任何参数化下高效且自动地计算自然梯度。我们的代码已集成到 GPflow 包中。
引用
@article{arxiv.1803.09151,
title = {Natural Gradients in Practice: Non-Conjugate Variational Inference in Gaussian Process Models},
author = {Hugh Salimbeni and Stefanos Eleftheriadis and James Hensman},
journal= {arXiv preprint arXiv:1803.09151},
year = {2018}
}