SimGRACE:一种无需数据增强的图对比学习简单框架
机器学习
2023-03-21 v3 社会与信息网络
摘要
图对比学习(GCL)已成为图表示学习的主流技术,其通过最大化共享相同语义的成对图增强之间的互信息来工作。遗憾的是,鉴于图数据性质的多样性,在增强过程中很难很好地保持语义。当前 GCL 中为保护语义而设计的数据增强大致落入三种不尽如人意的方式。第一,增强可针对每个数据集通过试错手动挑选。第二,增强可通过繁琐的搜索来选取。第三,增强可通过引入昂贵的领域特定知识作为指导来获得。这些都限制了现有 GCL 方法的效率与更通用的适用性。为规避这些关键问题,我们提出一种无需数据增强的图对比学习简单框架(\underline{Sim}ple framework for \underline{GRA}ph \underline{C}ontrastive l\underline{E}arning,简称 \textbf{SimGRACE})。具体而言,我们以原始图作为输入,并将 GNN 模型及其扰动版本作为两个编码器,获得两个相关视图用于对比。SimGRACE 的灵感来源于如下观察:图数据在编码器扰动下能很好地保持语义,同时无需为增强选择进行手动试错、繁琐搜索或昂贵领域知识。此外,我们解释了 SimGRACE 为何能成功。进一步地,我们设计了名为 \textbf{AT-SimGRACE} 的对抗训练方案,以增强图对比学习的鲁棒性,并从理论上解释了原因。尽管简单,我们表明 SimGRACE 在泛化性、可迁移性与鲁棒性方面可比肩或优于最先进方法,同时具备前所未有的灵活性与效率。
引用
@article{arxiv.2202.03104,
title = {SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation},
author = {Jun Xia and Lirong Wu and Jintao Chen and Bozhen Hu and Stan Z. Li},
journal= {arXiv preprint arXiv:2202.03104},
year = {2023}
}
备注
Accepted by The Web Conference 2022 (WWW 2022)