图神经网络预训练策略
机器学习
2020-02-20 v3 机器学习
摘要
机器学习的许多应用要求模型对分布不同于训练样本的测试样本做出准确预测，而在训练期间任务特定的标签稀缺。应对这一挑战的一种有效方法是在数据丰富的相关任务上预训练模型，然后在其感兴趣的下游任务上微调。虽然预训练在许多语言和视觉领域有效，如何有效地在图数据集上使用预训练仍是一个开放问题。在本文中，我们为图神经网络（GNNs）的预训练开发了一种新策略和自监督方法。我们策略成功的关键是在单个节点以及整个图的层面上预训练一个具有表达力的 GNN，使 GNN 能同时学习有用的局部和全局表示。我们在多个图分类数据集上系统地研究预训练。我们发现，在整图或单个节点层面上预训练 GNN 的朴素策略改进有限，且可能在许多下游任务上导致负迁移。相比之下，我们的策略避免了负迁移，并显著改善了跨下游任务的泛化能力，相较未预训练模型在 ROC-AUC 上取得高达 9.4% 的绝对提升，并在分子性质预测和蛋白质功能预测上达到最先进性能。
引用
@article{arxiv.1905.12265,
title = {Strategies for Pre-training Graph Neural Networks},
author = {Weihua Hu and Bowen Liu and Joseph Gomes and Marinka Zitnik and Percy Liang and Vijay Pande and Jure Leskovec},
journal= {arXiv preprint arXiv:1905.12265},
year = {2020}
}
备注
Accepted as a spotlight to ICLR 2020