基于自监督多尺度邻域预测的节点特征提取

由于众多现实应用，图上的学习在学习界引起了显著关注。特别是，以数值节点特征和图结构为输入的图神经网络（GNNs）已被证明在各种图相关学习任务上达到最先进的性能。近期通过自监督学习探索数值节点特征与图结构之间关联的工作，为 GNNs 的进一步提升铺平了道路。然而，在标准 GNN 流程中，用于从原始数据提取数值节点特征的方法仍是图不可知的。这种做法次优，因为它阻碍了对图拓扑与节点属性之间潜在关联的充分利用。为缓解此问题，我们提出一个新的自监督学习框架——图信息辅助节点特征提取（GIANT）。GIANT 利用极端多标签分类（XMC）形式化方法，这对于基于图信息微调语言模型至关重要，并可扩展到大型数据集。我们还提供理论分析，证明使用 XMC 而非链接预测的合理性，并促使将用于求解 XMC 问题的强大方法 XR-Transformers 集成到 GIANT 框架中。我们在 Open Graph Benchmark 数据集上展示了 GIANT 相对于标准 GNN 流程的优越性能：例如，在 ogbn-papers100M 数据集上，通过利用 GIANT，我们将排名靠前的方法 GAMLP 的准确率从 $68.25\%$ 提升至 $69.67\%$，SGC 从 $63.29\%$ 提升至 $66.10\%$，MLP 从 $47.24\%$ 提升至 $61.10\%$。