GPT-GNN：图神经网络的生成式预训练
机器学习
2020-06-30 v1 社会与信息网络
机器学习
摘要
图神经网络（GNNs）已被证明在建模图结构数据方面具有强大能力。然而，训练GNN通常需要大量特定任务的标注数据，而这类数据往往获取成本极高。减少标注工作的一种有效方法是在无标注数据上通过自监督预训练一个具有表达力的GNN模型，然后将学习到的模型迁移到仅含少量标注的下游任务。本文提出GPT-GNN框架，通过生成式预训练来初始化GNN。GPT-GNN引入一个自监督的属性图生成任务来预训练GNN，使其能捕捉图的结构和语义属性。我们将图生成的似然分解为两个分量：1）属性生成和2）边生成。通过对两个分量建模，GPT-GNN在生成过程中捕捉了节点属性与图结构之间的内在依赖。在十亿规模的Open Academic Graph和Amazon推荐数据上的综合实验表明，GPT-GNN在各种下游任务上显著优于未经预训练的最先进GNN模型，提升幅度达9.1%。
引用
@article{arxiv.2006.15437,
title = {GPT-GNN: Generative Pre-Training of Graph Neural Networks},
author = {Ziniu Hu and Yuxiao Dong and Kuansan Wang and Kai-Wei Chang and Yizhou Sun},
journal= {arXiv preprint arXiv:2006.15437},
year = {2020}
}
备注
Published on KDD 2020