多输出高斯过程中的负迁移与潜函数结构
机器学习
2023-07-04 v1 机器学习
摘要
多输出高斯过程（）基于输出具有共性的假设，然而若该假设不成立，负迁移将导致相对于独立或子集学习输出而言性能下降。本文中，我们首先在 背景下定义负迁移，然后推导避免负迁移的 模型必要条件。具体而言，在卷积构造下，我们表明避免负迁移主要依赖于具有足够数量的潜函数 ，而与所用核或推断过程的灵活性无关。然而， 的轻微增加会导致待估计参数数量的大幅上升。为此，我们提出两种可扩展至任意大数据集、能避免负迁移并允许在其中使用任意核或稀疏近似的潜结构。这些结构还允许正则化，从而提供对相关输出的一致且自动的选择。
引用
@article{arxiv.2004.02382,
title = {On Negative Transfer and Structure of Latent Functions in Multi-output Gaussian Processes},
author = {Moyan Li and Raed Kontar},
journal= {arXiv preprint arXiv:2004.02382},
year = {2023}
}