作为图上自监督信号的特征传播
机器学习
2023-09-06 v2
摘要
自监督学习因能避免图表示学习中对大量标注的需求而受到相当关注。现有算法基于对比学习,计算与内存开销大,且依赖于某些图增强下的不变性假设。然而,边采样等图变换可能改变数据语义,使不变性假设未必成立。我们提出正则化图 Infomax (Regularized Graph Infomax, RGI),一种简洁而有效的节点级自监督学习框架,通过最大化输出节点嵌入与其在图上传播结果之间的互信息来训练图神经网络编码器,二者分别编码节点的局部与全局上下文。RGI 不使用图数据增强,而是借助特征传播生成自监督信号,为非对比方法且不依赖于双分支架构。我们在转导与归纳设定下使用流行图基准测试运行 RGI,表明尽管简洁,它仍可达到 SOTA 性能。
引用
@article{arxiv.2303.08644,
title = {Feature propagation as self-supervision signals on graphs},
author = {Oscar Pina and Verónica Vilaplana},
journal= {arXiv preprint arXiv:2303.08644},
year = {2023}
}
备注
16 pages, 1 figure, preprint