MA-GCL：面向图对比学习的模型增强技巧
机器学习
2022-12-15 v1
摘要
对比学习（CL）能够提取不同对比视图之间共享的信息，已成为视觉表征学习的一种流行范式。受计算机视觉领域成功的启发，近期工作将 CL 引入图建模，称为图对比学习（GCL）。然而，在图中生成对比视图比在图像中更具挑战性，因为我们几乎缺乏关于如何在不改变图标签的情况下显著增强图的先验知识。我们认为，GCL 中典型的数据增强技术（例如边丢弃）无法生成足够多样的对比视图以过滤噪声。此外，以往的 GCL 方法采用两个具有完全相同神经架构且参数绑定的视图编码器，这进一步损害了增强视图的多样性。为应对这一局限，我们提出了一种名为模型增强 GCL（MA-GCL）的新范式，其侧重于操纵视图编码器的架构而非扰动图输入。具体而言，我们提出了三种易于实现的 GCL 模型增强技巧，即非对称、随机和洗牌，它们分别有助于缓解高频噪声、丰富训练样本以及带来更安全的增强。这三种技巧均与典型的数据增强兼容。实验结果表明，通过在简单基模型上应用这三种技巧，MA-GCL 能在节点分类基准上取得最先进的性能。大量研究也验证了我们的动机以及每种技巧的有效性。（代码、数据和附录见 https://github.com/GXM1141/MA-GCL。）
引用
@article{arxiv.2212.07035,
title = {MA-GCL: Model Augmentation Tricks for Graph Contrastive Learning},
author = {Xumeng Gong and Cheng Yang and Chuan Shi},
journal= {arXiv preprint arXiv:2212.07035},
year = {2022}
}
备注
9 pages