生成式与对比式范式互补于图自监督学习
机器学习
2023-10-25 v1 人工智能
摘要
对于图自监督学习（GSSL），掩码自编码器（MAE）遵循生成式范式，学习重建被掩码的图边或节点特征。对比学习（CL）最大化同一图的不同增广视图间的相似性，被广泛用于 GSSL。然而，现有 GSSL 工作将 MAE 与 CL 分开考虑。我们观察到 MAE 与 CL 范式互补，并提出图对比掩码自编码器（GCMAE）框架以统一二者。具体而言，MAE 聚焦于局部边或节点特征，无法捕捉图的全局信息，且对特定边与特征敏感。相反，CL 因考虑图间关系而擅长提取全局信息。因此，我们为 GCMAE 配备 MAE 分支与 CL 分支，两分支共享同一编码器，使 MAE 分支可利用 CL 分支提取的全局信息。为迫使 GCMAE 捕捉全局图结构，我们训练其重建整个邻接矩阵，而非如现有工作仅重建被掩码边。此外，提出一种用于特征重建的判别损失，其提升节点嵌入间的差异性而非降低重建误差，以应对 MAE 的特征平滑问题。我们在四个流行图任务（即节点分类、节点聚类、链接预测与图分类）上评估 GCMAE，并与 14 个最先进基线比较。结果显示 GCMAE 在这些任务上一致提供良好精度，相较最佳基线最大精度提升达 3.2%。
引用
@article{arxiv.2310.15523,
title = {Generative and Contrastive Paradigms Are Complementary for Graph Self-Supervised Learning},
author = {Yuxiang Wang and Xiao Yan and Chuang Hu and Fangcheng Fu and Wentao Zhang and Hao Wang and Shuo Shang and Jiawei Jiang},
journal= {arXiv preprint arXiv:2310.15523},
year = {2023}
}