面向深度高斯过程的 Onsager-Machlup 后验传输
摘要
基于诱导变量的近似推断是深度高斯过程 (DGP) 的核心计算瓶颈。现有方法要么通过 ELBO 拟合显式密度 (DSVI、IPVI、DDVI、DBVI),要么通过 MCMC 进行采样 (SGHMC)。我们转而将 DGP 推断构建为后验传输:学习一个确定性采样器,将易处理的参考测度映射至与后验相关的诱导变量,并由源自 Doob 桥接参考扩散的路径先验进行正则化。我们的实现 \textbf{OM-Path} (正式名称为 FBVI-bridge-Path),使用应用于 DBVI 的 Doob 桥接前向 SDE 的 Song 概率流 ODE;参考漂移由桥接边际系数给出闭式形式 (无需分数匹配),路径正则化项为 \textbf{Onsager--Machlup 作用量}。在训练时使用的有限 值下,目标函数是回火 Doob 桥接路径后验的负对数非归一化密度,定理 1 通过 Freidlin--Wentzell LDP 将其与同一后验的小噪声 MAP 路径等同起来。在同一桥接主干上推导了两种严格路径空间 ELBO 变体 (FFJORD log-det;OM 正则化 CNF) 作为消融实验。在七个 UCI 回归基准上针对 DBVI 进行配对种子 Wilcoxon 检验,OM-Path 在两个最大数据集上取得了统计学上的显著胜利 (\textit{power}:,NLL 匹配 DSVI 基线 ;\textit{protein}:,RMSE 对比 ,NLL 对比 ),在 \textit{yacht} / \textit{qsar} 上统计持平,并在小 噪声数据上将 \textit{boston} / \textit{energy} / \textit{concrete} 让予 DBVI。严格 ELBO 变体在任何 UCI 指标上均未超越 DBVI:在此机制下,降低路径目标的方差主导了精确密度跟踪。
引用
@article{arxiv.2605.23434,
title = {Onsager-Machlup Posterior Transport for Deep Gaussian Processes},
author = {Jian Xu and Delu Zeng and John Paisley and Qibin Zhao},
journal= {arXiv preprint arXiv:2605.23434},
year = {2026}
}