中文

SimGRACE:一种无需数据增强的图对比学习简单框架

机器学习 2023-03-21 v3 社会与信息网络

摘要

图对比学习(GCL)已成为图表示学习的主流技术,其通过最大化共享相同语义的成对图增强之间的互信息来工作。遗憾的是,鉴于图数据性质的多样性,在增强过程中很难很好地保持语义。当前 GCL 中为保护语义而设计的数据增强大致落入三种不尽如人意的方式。第一,增强可针对每个数据集通过试错手动挑选。第二,增强可通过繁琐的搜索来选取。第三,增强可通过引入昂贵的领域特定知识作为指导来获得。这些都限制了现有 GCL 方法的效率与更通用的适用性。为规避这些关键问题,我们提出一种无需数据增强的图对比学习简单框架(\underline{Sim}ple framework for \underline{GRA}ph \underline{C}ontrastive l\underline{E}arning,简称 \textbf{SimGRACE})。具体而言,我们以原始图作为输入,并将 GNN 模型及其扰动版本作为两个编码器,获得两个相关视图用于对比。SimGRACE 的灵感来源于如下观察:图数据在编码器扰动下能很好地保持语义,同时无需为增强选择进行手动试错、繁琐搜索或昂贵领域知识。此外,我们解释了 SimGRACE 为何能成功。进一步地,我们设计了名为 \textbf{AT-SimGRACE} 的对抗训练方案,以增强图对比学习的鲁棒性,并从理论上解释了原因。尽管简单,我们表明 SimGRACE 在泛化性、可迁移性与鲁棒性方面可比肩或优于最先进方法,同时具备前所未有的灵活性与效率。

关键词

引用

@article{arxiv.2202.03104,
  title  = {SimGRACE: A Simple Framework for Graph Contrastive Learning without Data Augmentation},
  author = {Jun Xia and Lirong Wu and Jintao Chen and Bozhen Hu and Stan Z. Li},
  journal= {arXiv preprint arXiv:2202.03104},
  year   = {2023}
}

备注

Accepted by The Web Conference 2022 (WWW 2022)