基于结构聚类的自监督异构图预训练
机器学习
2023-04-13 v2
摘要
近期异质信息网（HINs）上的自监督预训练方法已展现出优于传统半监督异质图神经网络（HGNNs）的竞争力。遗憾的是，它们的性能严重依赖于为生成高质量正例与负例而精心定制的各种策略，这明显限制了其灵活性与泛化能力。在本工作中，我们提出 SHGP，一种新颖的自监督异构图预训练方法，其无需生成任何正例或负例。它由两个共享相同注意力聚合方案的模块组成。在每次迭代中，Att-LPA 模块通过结构聚类生成伪标签，作为自监督信号来引导 Att-HGNN 模块学习对象嵌入与注意力系数。两个模块能有效利用并增强彼此，促使模型学习到具有判别力的嵌入。在四个真实世界数据集上的大量实验证明了 SHGP 相对于最先进的（SOTA）无监督基线乃至半监督基线的优越有效性。我们在 https://github.com/kepsail/SHGP 发布了源代码。
引用
@article{arxiv.2210.10462,
title = {Self-supervised Heterogeneous Graph Pre-training Based on Structural Clustering},
author = {Yaming Yang and Ziyu Guan and Zhe Wang and Wei Zhao and Cai Xu and Weigang Lu and Jianbin Huang},
journal= {arXiv preprint arXiv:2210.10462},
year = {2023}
}
备注
Accepted by NeurIPS 2022