用于正交解耦高斯过程的球面诱导特征
机器学习
2023-06-16 v2 机器学习
摘要
尽管高斯过程具有许多理想的性质，但由于缺乏学习表示的能力，它们在与深度神经网络比较时常常处于劣势。近期为弥合高斯过程与深度神经网络之间差距的努力，催生了一类新的域间变分高斯过程，其中诱导变量对应于前馈神经网络的隐藏单元。在这项工作中，我们研究了与该方法相关的一些实际问题，并提出了一种利用高斯过程的正交分解来缓解这些局限性的扩展方案。具体而言，我们引入了球面域间特征，为高斯过程近似的主成分和正交成分构建了更灵活的依赖于数据的基函数，并表明在此框架下结合神经网络激活特征不仅缓解了这些缺点，而且比其他替代策略具有更好的可扩展性。在多个基准数据集上的实验证明了我们方法的有效性。
引用
@article{arxiv.2304.14034,
title = {Spherical Inducing Features for Orthogonally-Decoupled Gaussian Processes},
author = {Louis C. Tiao and Vincent Dutordoir and Victor Picheny},
journal= {arXiv preprint arXiv:2304.14034},
year = {2023}
}
备注
To appear in the Proceedings of the 40th International Conference on Machine Learning (ICML2023)