架构至关重要:揭示图对比学习中的隐式机制
机器学习
2023-11-07 v1 人工智能
机器学习
摘要
随着视觉表示学习对比学习(VCL)的兴盛,其也被适配至图领域并取得了 promising 性能。然而,通过对多种图对比学习(GCL)方法的系统研究,我们观察到现有 GCL 方法中存在一些与原始 VCL 方法颇为不同的常见现象,包括:1)正样本对 GCL 并非必需;2)负样本对图分类并非必要,在采用特定归一化模块时对节点分类亦非必要;3)数据增强对 GCL 影响甚微,因为简单的域无关增强(如高斯噪声)也能取得相当好的性能。通过揭示 GNN 的隐式归纳偏置如何在对比学习中起作用,我们从理论上对上述 GCL 的有趣特性提供了见解。我们主张不应直接将现有 VCL 方法移植到 GCL,而应更多关注图学习独有架构,并在设计 GCL 方法时考量其隐式影响。代码见 https://github.com/PKU-ML/ArchitectureMattersGCL。
引用
@article{arxiv.2311.02687,
title = {Architecture Matters: Uncovering Implicit Mechanisms in Graph Contrastive Learning},
author = {Xiaojun Guo and Yifei Wang and Zeming Wei and Yisen Wang},
journal= {arXiv preprint arXiv:2311.02687},
year = {2023}
}
备注
NeurIPS 2023