高斯过程门控的分层专家混合模型
机器学习
2024-03-26 v2 机器学习
摘要
在本文中，我们提出了新颖的高斯过程门控的分层专家混合模型（GPHMEs）。与其他采用关于输入线性的门控模型的专家混合模型不同，我们的模型采用由高斯过程（GPs）构建的门控函数。这些过程基于作为输入的非线性函数的随机特征。此外，我们模型中的专家也是由高斯过程构建的。GPHMEs的优化通过变分推断执行。所提出的GPHMEs具有若干优势。它们优于在输入空间中对数据进行划分的基于树的HME基准，并且以更低的复杂度取得了良好的性能。另一个优势是它们为深度高斯过程，更一般地为深度贝叶斯神经网络，提供了可解释性。我们的GPHMEs即使在规模相当 modest 的数据集上也展示了对于大规模数据集的优异性能。
引用
@article{arxiv.2302.04947,
title = {Gaussian Process-Gated Hierarchical Mixtures of Experts},
author = {Yuhao Liu and Marzieh Ajirak and Petar Djuric},
journal= {arXiv preprint arXiv:2302.04947},
year = {2024}
}