异质超图神经网络的自我监督预训练
机器学习
2023-11-21 v1 社会与信息网络
机器学习
摘要
近来，图神经网络（GNNs）的预训练方法已成功从无标签图数据中学习有效表示。然而，这些方法大多依赖图中的成对关系，未能捕捉实体间潜在的高阶关系。超图是通用且具表现力的结构，能有效建模数据中实体间的高阶关系。尽管已有将 GNN 适配到超图（HyperGNN）的尝试，目前仍没有面向异质超图 HyperGNN 的完全自监督预训练方法。本文提出 SPHH，一种面向异质 HyperGNN 的新型自监督预训练框架。我们的方法能以自监督方式有效捕捉数据中实体间的高阶关系。SPHH 由两个自监督预训练任务组成，旨在利用从超图结构导出的信息性表示，同时学习超图中实体的局部与全局表示。总体而言，我们的工作标志着 HyperGNN 自监督预训练领域的显著进展，并有望提升节点分类和链接预测等映射为超图配置的各类基于图的下游任务性能。我们在两个真实基准上使用四种不同 HyperGNN 模型的实验表明，所提 SPHH 框架在各种下游任务中持续优于最先进的基线。结果证明 SPHH 能提升不同架构或复杂度的各类 HyperGNN 模型在各类下游任务中的表现，凸显了框架的鲁棒性。
引用
@article{arxiv.2311.11368,
title = {Self-Supervised Pretraining for Heterogeneous Hypergraph Neural Networks},
author = {Abdalgader Abubaker and Takanori Maehara and Madhav Nimishakavi and Vassilis Plachouras},
journal= {arXiv preprint arXiv:2311.11368},
year = {2023}
}