增量集成高斯过程
机器学习
2021-10-14 v1 机器学习
摘要
作为贝叶斯非参数族的一员，基于高斯过程（GP）的方法不仅有文献充分证明的优点，可学习丰富类的非线性函数，还能量化相关不确定性。然而，大多数 GP 方法依赖单一预先选定的核函数，这可能不足以刻画在时间关键应用中顺序到达的数据样本。为启用{\it 在线}核自适应，本文倡导一种增量集成（IE-）GP 框架，其中 EGP 元学习器采用一个 GP 学习器的{\it 集成}，每个学习器具有属于给定核字典的独特核。每个 GP 专家利用基于随机特征的近似来执行具有{\it 可扩展性}的在线预测与模型更新，EGP 元学习器则利用数据自适应权重综合各专家预测。此外，通过将 EGP 元学习器内及每个 GP 学习器中的结构化动态建模，将新颖的 IE-GP 推广到适应时变函数。为在违背建模假设的对抗环境下基准测试 IE-GP 及其动态变体的性能，通过在线凸优化中常用的后悔（regret）概念进行了严格的性能分析。最后但并非最不重要的是，在该新颖 IE-GP 框架下探索了用于降维的在线无监督学习。合成与真实数据测试证明了所提方案的有效性。
引用
@article{arxiv.2110.06777,
title = {Incremental Ensemble Gaussian Processes},
author = {Qin Lu and Georgios V. Karanikolas and Georgios B. Giannakis},
journal= {arXiv preprint arXiv:2110.06777},
year = {2021}
}