深度变分隐过程
机器学习
2023-02-17 v2 机器学习
摘要
隐过程(IP)是高斯过程(GP)的推广。IP可能缺乏闭式表达，但易于采样。其例子包括但不限于贝叶斯神经网络或神经采样器。IP可用作函数的先验，从而得到具有良好校准预测不确定性估计的灵活模型。基于IP的方法通常进行函数空间近似推断，克服了参数空间近似推断的一些困难。然而，所采用的近似往往限制了最终模型的表达能力，例如导致高斯预测分布，这可能具有局限性。我们在此提出一种称为深度变分隐过程(DVIP)的IP多层推广。该推广类似于深度GP之于GP，但由于使用IP作为潜函数的先验分布而更为灵活。我们描述了一种可扩展的变分推断算法用于训练DVIP，并表明其优于先前基于IP的方法以及深度GP。我们通过大量回归与分类实验支持上述结论，还在多达数百万数据实例的大型数据集上评估了DVIP，以说明其良好的可扩展性与性能。
引用
@article{arxiv.2206.06720,
title = {Deep Variational Implicit Processes},
author = {Luis A. Ortega and Simón Rodríguez Santana and Daniel Hernández-Lobato},
journal= {arXiv preprint arXiv:2206.06720},
year = {2023}
}
备注
19 pages, 6 figures, ICLR 2023