面向百万规模异构图的图神经网络增强预训练
机器学习
2025-10-15 v1
摘要
近年来，图神经网络（GNNs）推动了图数据挖掘的发展。然而，训练GNNs需要充足的标记任务特定数据，这些数据昂贵且有时不可得。为减少对标记数据的依赖，近期研究提出以自监督方式预训练GNNs，然后将其应用于标记数据有限的下游任务。然而，大多数现有方法仅针对均质图进行设计（现实世界的图大多为异构），且未考虑语义不匹配（原始数据与包含更多可迁移语义信息的理想数据之间的语义差异）。本文提出一种有效框架，用于在大规模异构图上预训练GNNs。我们首先设计一种结构感知预训练任务，以捕获异构图中的结构属性。随后，我们设计一种语义感知预训练任务以解决不匹配问题。具体而言，我们构建由语义邻居组成的扰动子空间以处理语义不匹配。语义邻居使模型更关注语义空间中的通用知识，从而促进学习具有更好可迁移性的知识。最终，在真实的大规模异构图上进行大量实验，以证明所提方法相对于最先进基线的优越性。代码已公开于https://github.com/sunshy-1/PHE。
引用
@article{arxiv.2510.12401,
title = {Enhanced Pre-training of Graph Neural Networks for Million-Scale Heterogeneous Graphs},
author = {Shengyin Sun and Chen Ma and Jiehao Chen},
journal= {arXiv preprint arXiv:2510.12401},
year = {2025}
}
备注
26 pages