面向自监督图表示学习的全粒度自我语义传播方法
机器学习
2022-06-01 v1 人工智能
计算机视觉与模式识别
摘要
无监督/自监督图表示学习对下游节点级和图级分类任务至关重要。图的全局结构有助于区分性表示,现有方法主要通过引入额外监督来利用全局结构。然而,它们的全局语义对所有节点/图通常是不变的,且未能显式嵌入全局语义以丰富表示。本文提出面向自监督图表示学习的全粒度自我语义传播方法(OEPG)。具体而言,我们引入实例自适应的全局感知自我语义描述子,利用每个节点/图与整个图数据集的分层全局簇之间的一阶和二阶特征差异。这些描述子可作为新邻居节点显式集成到局部图卷积中。此外,我们设计了针对自我语义全尺度与全层级的全粒度归一化,从全粒度视角为每个描述子分配注意力权重。进一步开发了专门的预训练任务和跨迭代动量更新以实现局部-全局互适应。在下游任务中,OEPG 在跨尺度与跨领域的多个数据集上持续取得最佳性能,准确率提升 2%~6%。值得注意的是,OEPG 也能泛化到数量与拓扑不平衡场景。
引用
@article{arxiv.2205.15746,
title = {Omni-Granular Ego-Semantic Propagation for Self-Supervised Graph Representation Learning},
author = {Ling Yang and Shenda Hong},
journal= {arXiv preprint arXiv:2205.15746},
year = {2022}
}
备注
Accepted by ICML 2022