快速深度高斯过程专家混合模型
机器学习
2024-01-23 v4 机器学习
摘要
专家混合模型已成为监督学习场景中灵活建模的必备工具，其不仅允许均值函数随输入变化，还允许输出的整个密度随输入变化。稀疏高斯过程（GP）作为此类模型中专家的领先候选已显现潜力，本文提出利用深度神经网络（DNN）设计门控网络以从此类稀疏GP混合中选择专家。此外，采用一种称为聚类-分类-回归（CCR）的快速单次算法极速逼近最大后验（MAP）估计量。这种模型与算法的强力结合提供了一种新颖方法，其灵活、稳健且极高效。特别地，该方法在精度与不确定性量化方面优于竞争方法。其在低维与小数据集上代价具竞争力，但在高维与大数据集上显著更低。迭代最大化给定分配的专家分布与给定专家的分配并未带来显著改进，表明该算法极快地获得了局部MAP估计量的良好近似。该见解亦可用于其他专家混合模型场景。
引用
@article{arxiv.2006.13309,
title = {Fast Deep Mixtures of Gaussian Process Experts},
author = {Clement Etienam and Kody Law and Sara Wade and Vitaly Zankin},
journal= {arXiv preprint arXiv:2006.13309},
year = {2024}
}
备注
22 pages, 28 figures, to be published in Machine Learning journal