从图频谱视角重审图对比学习
机器学习
2022-10-06 v1
摘要
图对比学习（GCL）通过增广图来学习节点表示，已引起相当关注。尽管各种图增广策略层出不穷，一些基本问题仍不清楚：GCL 究竟将什么信息编码进了学习到的表示中？不同增广背后是否存在某些通用的图增广规则？若存在，它们是什么又能带来什么启示？本文我们通过建立 GCL 与图频谱之间的联系来回答这些问题。通过在频谱域的实验探究，我们首先发现 GCL 的通用图增广（GAME）规则，即两个增广图间高频部分的差异应大于低频部分的差异。该规则揭示了重审当前图增广与设计新的有效图增广的基本原理。随后我们借助对比不变性定理从理论上证明 GCL 能够学习不变性信息，结合我们的 GAME 规则，我们首次揭示 GCL 学习到的表示本质上编码了低频信息，这解释了 GCL 为何有效。受此规则指导，我们提出了一个频谱图对比学习模块（SpCo），它是一种通用且对 GCL 友好的插件。我们将其与不同现有 GCL 模型结合，大量实验充分表明它能进一步提升多种不同 GCL 方法的性能。
引用
@article{arxiv.2210.02330,
title = {Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum},
author = {Nian Liu and Xiao Wang and Deyu Bo and Chuan Shi and Jian Pei},
journal= {arXiv preprint arXiv:2210.02330},
year = {2022}
}
备注
This paper has been accepted by NeurIPS 2022