中文

面向深度高斯过程的 Onsager-Machlup 后验传输

机器学习 2026-05-25 v1

摘要

基于诱导变量的近似推断是深度高斯过程 (DGP) 的核心计算瓶颈。现有方法要么通过 ELBO 拟合显式密度 qϕ(\bU)q_\phi(\bU) (DSVI、IPVI、DDVI、DBVI),要么通过 MCMC 进行采样 (SGHMC)。我们转而将 DGP 推断构建为后验传输:学习一个确定性采样器,将易处理的参考测度映射至与后验相关的诱导变量,并由源自 Doob 桥接参考扩散的路径先验进行正则化。我们的实现 \textbf{OM-Path} (正式名称为 FBVI-bridge-Path),使用应用于 DBVI 的 Doob 桥接前向 SDE 的 Song 概率流 ODE;参考漂移由桥接边际系数给出闭式形式 (无需分数匹配),路径正则化项为 \textbf{Onsager--Machlup 作用量}。在训练时使用的有限 ϵ\epsilon 值下,目标函数是回火 Doob 桥接路径后验的负对数非归一化密度,定理 1 通过 Freidlin--Wentzell LDP 将其与同一后验的小噪声 MAP 路径等同起来。在同一桥接主干上推导了两种严格路径空间 ELBO 变体 (FFJORD log-det;OM 正则化 CNF) 作为消融实验。在七个 UCI 回归基准上针对 DBVI 进行配对种子 Wilcoxon 检验,OM-Path 在两个最大数据集上取得了统计学上的显著胜利 (\textit{power}:p ⁣= ⁣0.014p\!=\!0.014,NLL 0.012\mathbf{0.012} 匹配 DSVI 基线 0.0170.017;\textit{protein}:p ⁣= ⁣0.002p\!=\!0.002,RMSE 0.716\mathbf{0.716} 对比 0.7640.764,NLL 1.086\mathbf{1.086} 对比 1.1491.149),在 \textit{yacht} / \textit{qsar} 上统计持平,并在小 NN 噪声数据上将 \textit{boston} / \textit{energy} / \textit{concrete} 让予 DBVI。严格 ELBO 变体在任何 UCI 指标上均未超越 DBVI:在此机制下,降低路径目标的方差主导了精确密度跟踪。

关键词

引用

@article{arxiv.2605.23434,
  title  = {Onsager-Machlup Posterior Transport for Deep Gaussian Processes},
  author = {Jian Xu and Delu Zeng and John Paisley and Qibin Zhao},
  journal= {arXiv preprint arXiv:2605.23434},
  year   = {2026}
}