面向深度高斯过程的扩散桥变分推断
机器学习
2026-02-13 v3
摘要
深度高斯过程支持表达性强的分层贝叶斯建模，但给后验推断带来了巨大挑战，尤其是在诱导变量方面。去噪扩散变分推断（DDVI）通过将后验建模为从简单高斯先验出发的时间反转扩散过程来解决这一问题。然而，DDVI 固定的无条件起始分布仍远离复杂的真实后验，导致推断轨迹低效且收敛缓慢。在本文中，我们提出了扩散桥变分推断（DBVI），这是 DDVI 的一种原则性扩展，它从一个可学习的、依赖数据的初始分布启动反向扩散。该初始化通过一个摊销神经网络进行参数化，并利用来自 ELBO 目标的梯度进行渐进式适应，从而缩小后验差距并提高样本效率。为实现可扩展的摊销，我们将网络设计为在诱导输入上运行，这些输入作为数据集的结构化、低维摘要，自然地与诱导变量的形状对齐。DBVI 保留了 DDVI 的数学优雅性，包括基于 Girsanov 的 ELBO 和逆时间 SDE，同时通过 Doob 桥扩散过程重新解释了先验。我们在此公式下推导出可处理的训练目标，并在大规模 DGPs 中实现了 DBVI 的可扩展推断。在回归、分类和图像重建任务中，DBVI 在预测准确性、收敛速度和后验质量上始终优于 DDVI 及其他变分基线方法。
引用
@article{arxiv.2509.19078,
title = {Diffusion Bridge Variational Inference for Deep Gaussian Processes},
author = {Jian Xu and Qibin Zhao and John Paisley and Delu Zeng},
journal= {arXiv preprint arXiv:2509.19078},
year = {2026}
}