基于非离散带宽的掩码图自编码器

掩码图自编码器已成为一种强大的图自监督学习方法，但其应用尚未得到充分探索。本文从图神经网络中消息传递的角度，揭示了现有离散边掩码和二值链接重构策略不足以学习具有拓扑信息的表征的事实。这些局限性包括：阻断消息流动、易受过平滑的脆弱性，以及次优的邻域判别性。鉴于这些认识，本文探索了非离散边掩码，即从连续且离散的概率分布中对其进行采样，而非离散的伯努利分布。这些掩码限制了每条边输出消息的数量，称为“带宽”。我们提出了一种新颖的、信息丰富且高效的基于带宽掩码和层级带宽预测目标的拓扑掩码图自编码器。我们在理论和实证方面展示了其强大的图拓扑学习能力。我们的方法在自监督链接预测（最多提升 20%）和节点分类任务中均优于代表性基线，仅凭一种结构学习的预文本任务即可实现。我们的实现已公开于 https://github.com/Newiz430/Bandana。