深度高斯过程的隐式后验变分推断
机器学习
2019-10-29 v1 机器学习
摘要
多层深度高斯过程（DGP）模型是 GP 模型的分层组合，具有更强的表达能力。精确的 DGP 推断是不可解的，这促使了近期确定性及随机近似方法的发展。遗憾的是，确定性近似方法会产生有偏的后验信念，而随机方法计算代价高昂。本文提出一种用于 DGP 的隐式后验变分推断（IPVI）框架，该框架理想情况下可恢复无偏后验信念，同时仍保持时间效率。受生成对抗网络启发，我们的 IPVI 框架将 DGP 推断问题构建为二人博弈，其中有趣的是，纳什均衡恰好对应于无偏后验信念。这进而启发我们设计一种最优响应动力学算法来搜索纳什均衡（即无偏后验信念）。实证评估表明，IPVI 优于现有的 DGP 最优近似方法。
引用
@article{arxiv.1910.11998,
title = {Implicit Posterior Variational Inference for Deep Gaussian Processes},
author = {Haibin Yu and Yizhou Chen and Zhongxiang Dai and Kian Hsiang Low and Patrick Jaillet},
journal= {arXiv preprint arXiv:1910.11998},
year = {2019}
}
备注
33rd Annual Conference on Neural Information Processing Systems (NeurIPS-19)