通过节点到邻域对齐的自监督节点表示学习
机器学习
2023-02-13 v2
摘要
自监督节点表示学习旨在从无标签图中学习可与有监督方法相媲美的节点表示。学习信息丰富节点表示的关键在于如何有效获取图结构中的上下文信息。本文提出一种简洁而有效的自监督节点表示学习方法，通过对齐节点与其邻域的隐表示实现。我们的第一个思路是直接最大化节点与邻域表示间的互信息来实现此种节点到邻域对齐，我们从理论上证明该做法起到图平滑的作用。我们的框架通过代理对比损失进行优化，并提出拓扑感知正采样(TAPS)策略，在考虑节点间结构依赖关系的前提下采样正例，从而实现离线正例选择。考虑到对比学习的过高内存开销，我们进一步提出一种无负样本方案，其主要贡献为图信号去相关(GSD)约束，用以避免表示坍缩与过平滑。GSD约束统一了若干已有约束，并可用于推导新的实现以对抗表示坍缩。通过在简单的基于MLP的节点表示编码器上应用我们的方法，所学得的节点表示在从小规模到大规模的一组图结构数据集上取得了有前景的节点分类性能。
引用
@article{arxiv.2302.04626,
title = {Self-Supervised Node Representation Learning via Node-to-Neighbourhood Alignment},
author = {Wei Dong and Dawei Yan and Peng Wang},
journal= {arXiv preprint arXiv:2302.04626},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2203.12265