基于自我图信息最大化的图神经网络迁移学习
机器学习
2021-10-27 v2 机器学习
摘要
图神经网络（GNNs）在各种应用中取得了优异性能，但针对大规模图训练专用的 GNNs 代价高昂。一些近期工作开始研究 GNNs 的预训练。然而，它们均未对其框架设计提供理论见解，也未给出关于可迁移性的明确要求和保证。在本工作中，我们建立了一个理论扎实且实用的 GNNs 迁移学习框架。首先，我们提出对本质图信息的新视角，并主张将其捕获作为可迁移 GNN 训练的目标，这促使了 EGI（自我图信息最大化）的设计以解析地实现该目标。其次，当节点特征与结构相关时，我们针对源图与目标图的局部图拉普拉斯算子之间的差异，分析了 EGI 的可迁移性。我们进行了受控合成实验以直接验证我们的理论结论。在两个真实世界网络数据集上的综合实验在直接迁移的分析设定中显示出一致结果，而在大规模知识图上的实验在更具实用性的微调迁移设定中显示出有前景的结果。
引用
@article{arxiv.2009.05204,
title = {Transfer Learning of Graph Neural Networks with Ego-graph Information Maximization},
author = {Qi Zhu and Carl Yang and Yidan Xu and Haonan Wang and Chao Zhang and Jiawei Han},
journal= {arXiv preprint arXiv:2009.05204},
year = {2021}
}
备注
NeurIPS 2021