基于正则化 Stein 差异的深度高斯过程神经算子变分推断
机器学习
2025-08-13 v2 机器学习
摘要
深度高斯过程（DGP）模型为贝叶斯推断提供了强大的非参数方法，但精确推断通常难以处理，这促使了多种近似方法的使用。然而，现有方法如平均场高斯假设限制了 DGP 模型的表达力与有效性，而随机近似可能计算昂贵。为应对这些挑战，我们引入用于深度高斯过程的神经算子变分推断（NOVI）。NOVI 使用神经生成器获得采样器，并在 L2 空间中最小化生成分布与真实后验之间的正则化 Stein 差异。我们使用蒙特卡洛估计与子采样随机优化技术求解该极小极大问题。我们证明，由我们的方法引入的偏差可通过将 Fisher 散度乘以一常数来控制，这带来鲁棒误差控制并确保算法的稳定性与精度。我们在从数百到数万的数据集上的实验证明了所提方法的有效性及更快收敛率。我们在 CIFAR10 数据集上取得 93.56 的分类准确率，优于 SOTA 高斯过程方法。此外，我们的方法理论上保证 DGP 模型的受控预测误差，并在多个数据集上展现出卓越性能。我们乐观认为 NOVI 有潜力提升深度贝叶斯非参数模型的性能，并可能对各类实际应用产生重要影响。
引用
@article{arxiv.2309.12658,
title = {Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes},
author = {Jian Xu and Shian Du and Junmei Yang and Qianli Ma and Delu Zeng},
journal= {arXiv preprint arXiv:2309.12658},
year = {2025}
}