自监督何时有助于图卷积网络？
机器学习
2020-07-21 v4 机器学习
摘要
自监督作为一种新兴技术，已被用于训练卷积神经网络（CNNs）以实现图像更具可迁移性、泛化性和鲁棒性的表示学习。然而，将其引入处理图数据的图卷积网络（GCNs）则鲜有探索。在本研究中，我们报道了将自监督整合进 GCNs 的首次系统性探索与评估。我们首先阐明了将自监督整合进 GCNs 的三种机制，分析了预训练与微调以及自训练的局限性，并进而聚焦于多任务学习。此外，我们提出研究三种具有理论依据和数值比较的面向 GCNs 的新型自监督学习任务。最后，我们进一步将多任务自监督整合进图对抗训练。我们的结果表明，通过恰当设计的任务形式与整合机制，自监督有助于 GCNs 获得更强的泛化性与鲁棒性。我们的代码见 https://github.com/Shen-Lab/SS-GCNs。
引用
@article{arxiv.2006.09136,
title = {When Does Self-Supervision Help Graph Convolutional Networks?},
author = {Yuning You and Tianlong Chen and Zhangyang Wang and Yang Shen},
journal= {arXiv preprint arXiv:2006.09136},
year = {2020}
}
备注
Supplementary materials are available at https://yyou1996.github.io/files/icml2020_ssgcn_supplement.pdf. ICML 2020