无显式负采样的自监督图神经网络
机器学习
2021-05-21 v4
摘要
现实世界中的数据大多是无标签的，或仅有少量实例带有标签。人工标注数据是一项非常昂贵且艰巨的任务。这呼唤着足够强大的无监督学习技术，以取得与半监督/监督技术相当的结果。对比自监督学习已成为一个有力的方向，在某些情况下甚至优于监督技术。在本研究中，我们提出了 SelfGNN，一种新颖的对比自监督图神经网络（GNN），其不依赖于显式对比项。我们利用 Batch Normalization 引入隐式对比项，且不牺牲性能。此外，由于数据增强是对比学习的关键，我们引入了四种图的特征增强（FA）技术。尽管图的拓扑增强（TA）常被使用，我们的实证结果表明 FA 与 TA 表现相当。而且，与 TA 通常具有 O(N^3) 时间复杂度（N 为节点数）不同，FA 不产生计算开销。我们在七个公开可用真实世界数据上的实证评估表明，SelfGNN 性能强大，可达到与 SOTA 监督 GNN 相当的性能，且始终优于 SOTA 半监督和无人监督 GNN。源代码见 https://github.com/zekarias-tilahun/SelfGNN。
引用
@article{arxiv.2103.14958,
title = {Self-supervised Graph Neural Networks without explicit negative sampling},
author = {Zekarias T. Kefato and Sarunas Girdzijauskas},
journal= {arXiv preprint arXiv:2103.14958},
year = {2021}
}
备注
Accepted in The International Workshop on Self-Supervised Learning for the Web (SSL'21) @ the Web Conference 2021 (WWW'21)