深度高斯过程变分推断中的信噪比问题
机器学习
2021-07-22 v2 人工智能
机器学习
统计方法学
摘要
我们表明,在使用重要性加权变分推断训练深度高斯过程(DGPs)时所用的梯度估计易受信噪比(SNR)问题的影响。具体而言,我们从理论和广泛的实证评估两方面表明,潜变量变分参数的梯度估计的 SNR 随重要性样本数量的增加而下降。因此,若重要性样本数量过大,这些梯度估计会退化为纯噪声。为解决此问题,我们展示了最初为训练变分自编码器提出的双重重参数化梯度估计器如何适配到 DGP 设定中,并且所得估计器完全修正了 SNR 问题,从而提供更可靠的训练。最后,我们证明我们的修正可一致地改善 DGP 模型的预测性能。
引用
@article{arxiv.2011.00515,
title = {On Signal-to-Noise Ratio Issues in Variational Inference for Deep Gaussian Processes},
author = {Tim G. J. Rudner and Oscar Key and Yarin Gal and Tom Rainforth},
journal= {arXiv preprint arXiv:2011.00515},
year = {2021}
}
备注
Published in Proceedings of the 38th International Conference on Machine Learning (ICML 2021)