图神经网络上的自适应迁移学习
机器学习
2021-07-21 v2
摘要
图神经网络(GNNs)被广泛用于学习图结构数据的强大表示。近期工作表明,将知识从自监督任务迁移到下游任务可进一步提升图表示。然而,自监督任务与下游任务在优化目标和训练数据方面存在固有差距。传统的预训练方法在知识迁移上可能不够有效,因为它们未针对下游任务做任何适配。为解决此类问题,我们提出了一种图神经网络上的新型迁移学习范式,可有效利用自监督任务作为辅助任务来帮助目标任务。我们的方法会在微调阶段自适应地选择并组合不同的辅助任务与目标任务。我们设计了一种自适应辅助损失加权模型,通过量化辅助任务与目标任务之间的一致性来学习辅助任务的权重。此外,我们通过元学习来学习该加权模型。我们的方法可应用于多种迁移学习方法,不仅在多任务学习中表现良好,在预训练与微调中也表现优异。在多个下游任务上的综合实验表明,所提方法能有效结合辅助任务与目标任务,并相比最先进(state-of-the-art, SOTA)方法显著提升性能。
引用
@article{arxiv.2107.08765,
title = {Adaptive Transfer Learning on Graph Neural Networks},
author = {Xueting Han and Zhenhuan Huang and Bang An and Jing Bai},
journal= {arXiv preprint arXiv:2107.08765},
year = {2021}
}