R²-HGP:面向异构迁移学习的双正则化高斯过程
机器学习
2025-12-12 v1
摘要
多输出高斯过程(MGP)模型因其灵活性和不确定性量化能力而引起广泛关注,在多源迁移学习场景中得到广泛应用,因其能够捕捉任务间的相关性。然而,这些模型在迁移学习中仍面临若干挑战。首先,源域和目标域的输入空间往往是异构的,这导致直接的知识迁移困难。其次,潜在知识和物理信息在异构迁移过程中通常被忽略,妨碍了领域特定洞见的利用并导致映射不稳定。再者,目标与源之间不恰当的信息共享容易导致负迁移。传统模型未能以统一方式解决上述问题。为克服这些限制,本文提出了双正则化异构高斯过程框架(R²-HGP)。具体而言,首先提出了可训练的先验概率映射模型,以对齐异构的输入域。将对齐后的输入视为潜在变量,在此基础上构建多源迁移高斯过程模型,并将整个结构集成到基于新型条件变分自编码器(CVAE)的框架中。进一步将物理洞见作为正则化项纳入,确保对齐结果遵循已知物理知识。随后,在多源迁移高斯过程模型中,对迁移系数施加稀疏惩罚,使模型能够自适应选择最具信息量的源输出并抑制负迁移。通过大量仿真实验和真实工程案例验证,我们的R²-HGP在多样化评估指标上均显著优于当前最先进的基准方法。
引用
@article{arxiv.2512.10258,
title = {R^2-HGP: A Double-Regularized Gaussian Process for Heterogeneous Transfer Learning},
author = {Duo Wang and Xinming Wang and Chao Wang and Xiaowei Yue and Jianguo Wu},
journal= {arXiv preprint arXiv:2512.10258},
year = {2025}
}
备注
17 pages, 9 figures. Under review for IEEE TPAMI