通过自举在图上进行大规模表示学习
机器学习
2023-02-21 v3 社会与信息网络
机器学习
摘要
自监督学习为消除图上表示学习中对昂贵标签信息的需求提供了一条有前景的路径。然而，为达到最先进性能，方法往往需要大量负例并依赖复杂增强。这可能成本高昂，尤其对大图而言。为应对这些挑战，我们引入了自举图隐变量（BGRL）——一种通过预测输入的其他增强来学习的图表示学习方法。BGRL 仅使用简单增强并缓解了与负例对比的需求，因此从设计上可扩展。BGRL 在多个既定基准上优于或匹配先前方法，同时将内存成本降低 2-10 倍。此外，我们展示 BGRL 可扩展到半监督机制下具有数亿节点的极大图——实现最先进性能并超越仅通过标签信息塑造表示的有监督基线。特别地，我们以 BGRL 为核心的方案成为 KDD Cup 2021 上 Open Graph Benchmark - Large Scale Challenge 的获胜方案之一，其所用图比所有先前可用基准大数个数量级，从而证明了我们方法的可扩展性与有效性。
引用
@article{arxiv.2102.06514,
title = {Large-Scale Representation Learning on Graphs via Bootstrapping},
author = {Shantanu Thakoor and Corentin Tallec and Mohammad Gheshlaghi Azar and Mehdi Azabou and Eva L. Dyer and Rémi Munos and Petar Veličković and Michal Valko},
journal= {arXiv preprint arXiv:2102.06514},
year = {2023}
}
备注
Published as a conference paper at ICLR 2022