基于 SMC$^2$ 的高斯过程专家混合模型
机器学习
2025-10-07 v3 机器学习
统计计算
摘要
高斯过程是许多灵活统计与机器学习模型的关键组成部分。然而，由于需要求逆并存储完整协方差矩阵，它们表现出立方计算复杂度和高内存约束。为规避此问题，已考虑高斯过程专家混合模型，其中数据点被分配给独立的专家，通过基于更小局部协方差矩阵的推断降低复杂度。此外，高斯过程专家混合模型极大丰富了模型的灵活性，允许非平稳性、异方差性和不连续性等行为。在本工作中，我们构建了一种基于嵌套序贯蒙特卡洛采样器的新型推断方法，以同时推断门控网络与高斯过程专家参数。与重要性采样相比，这在平稳高斯过程不合适的设置中尤其改善了推断，同时仍完全可并行化。
引用
@article{arxiv.2208.12830,
title = {Mixtures of Gaussian Process Experts with SMC$^2$},
author = {Teemu Härkönen and Sara Wade and Kody Law and Lassi Roininen},
journal= {arXiv preprint arXiv:2208.12830},
year = {2025}
}