基于极深图神经网络与自监督的大规模图表示学习
机器学习
2021-07-21 v1 人工智能
社会与信息网络
机器学习
摘要
在大规模场景下有效且高效地部署图神经网络（GNNs）仍是图表示学习中最具挑战性的方面之一。许多强大的方案仅在相对较小的数据集上得到验证，且常出现反直觉的结果——这一障碍已被 Open Graph Benchmark Large-Scale Challenge（OGB-LSC）打破。我们携两个大规模 GNN 参加 OGB-LSC：一个由自举驱动的深度转导式节点分类器，以及一个由去噪目标正则化的极深（最多 50 层）归纳式图回归器。我们的模型在 MAG240M 和 PCQM4M 两个基准上均取得了获奖级别（前三名）的性能。在此过程中，我们展示了可扩展的自监督图表示学习的证据，以及极深 GNN 的实用性——这两者都是非常重要的开放问题。我们的代码公开于：https://github.com/deepmind/deepmind-research/tree/master/ogb_lsc。
引用
@article{arxiv.2107.09422,
title = {Large-scale graph representation learning with very deep GNNs and self-supervision},
author = {Ravichandra Addanki and Peter W. Battaglia and David Budden and Andreea Deac and Jonathan Godwin and Thomas Keck and Wai Lok Sibon Li and Alvaro Sanchez-Gonzalez and Jacklynn Stott and Shantanu Thakoor and Petar Veličković},
journal= {arXiv preprint arXiv:2107.09422},
year = {2021}
}
备注
To appear at KDD Cup 2021. 13 pages, 3 figures. All authors contributed equally