多元高斯过程中知识负迁移的最小化：一种可扩展的正则化方法
机器学习
2023-07-04 v2 机器学习
摘要
近来，用于处理多输出的多元高斯过程（MGP）日益受到关注，它扩展了高斯过程（GP）。构建 MGP 并刻画输出间非平凡共性的一种方法采用卷积过程（CP）。CP 基于在多个卷积间共享潜函数的思想。尽管 CP 构造优雅，也带来了尚待解决的新挑战。首先，即便输出数量适中，由于计算需求与待估参数数量的剧增，模型构建也极为昂贵。其次，当某些输出不具共性时，可能发生知识的负迁移。本文针对这些问题，提出一种基于 CP 建立的 MGP 正则化成对建模方法。我们方法的关键特征是将完整多元模型的估计分配到一组独立构建的二元 GP 中。有趣的是，成对建模具有独特性质，使我们能够通过惩罚每个二元模型中促进信息共享的潜函数来解决负迁移挑战。随后在贝叶斯框架下结合二元模型的预测作出预测。所提方法在输出数量大时具有优异的可扩展性，并最小化不相关输出间的知识负迁移。我们研究了该方法的统计保证，并通过数值实验展示了其优势特征。
引用
@article{arxiv.1901.11512,
title = {Minimizing Negative Transfer of Knowledge in Multivariate Gaussian Processes: A Scalable and Regularized Approach},
author = {Raed Kontar and Garvesh Raskutti and Shiyu Zhou},
journal= {arXiv preprint arXiv:1901.11512},
year = {2023}
}