局部近似中相关高斯专家的聚合
机器学习
2021-11-10 v1 机器学习
摘要
分布式高斯过程(DGPs)是将高斯过程(GPs)扩展到大型数据集的重要局部近似方法。它们通过将训练集划分为子集来训练局部专家,而非进行全局估计,从而降低了时间复杂度。该策略基于条件独立性假设,即本质上意味着局部专家间存在完美多样性。然而在实践中,该假设常被违背,导致专家聚合产生次优且不一致的求解。本文中,我们提出一种通过检测条件独立性的严重违背来聚合高斯专家的新方法。专家间的依赖性通过使用高斯图模型确定,从而得到精度矩阵。精度矩阵编码了专家间的条件依赖关系,并用于检测强相关专家并构建改进的聚合。在合成与真实数据集上的实验评估表明,我们的新方法优于其他最先进(SOTA)的 DGP 方法,同时在时间效率上显著优于那些基于独立专家的 SOTA 方法。
引用
@article{arxiv.2010.08873,
title = {Aggregating Dependent Gaussian Experts in Local Approximation},
author = {Hamed Jalali and Gjergji Kasneci},
journal= {arXiv preprint arXiv:2010.08873},
year = {2021}
}
备注
8 pages