通过模体发现赋能双层图自监督预训练
机器学习
2023-12-20 v1 社会与信息网络
统计方法学
摘要
尽管自监督图预训练技术在各个领域展现出了可喜的结果，但其应用仍面临拓扑学习有限、依赖人类知识以及多级交互不足的挑战。为了解决这些问题，我们提出了一种新颖的解决方案——基于模体发现的双层图自监督预训练(DGPM)，它引入了一种独特的双层预训练结构，协调节点级和子图级前置任务。与以往方法不同，DGPM通过边池化模块自主发现有意义的图模体，使学习到的模体相似度与基于图核的相似度对齐。跨匹配任务实现了复杂的节点-模体交互和新颖的表示学习。在15个数据集上的广泛实验验证了DGPM的有效性和泛化能力，在无监督表示学习和迁移学习设置中均优于最先进的方法。自主发现的模体展示了DGPM在增强鲁棒性和可解释性方面的潜力。
引用
@article{arxiv.2312.11927,
title = {Empowering Dual-Level Graph Self-Supervised Pretraining with Motif Discovery},
author = {Pengwei Yan and Kaisong Song and Zhuoren Jiang and Yangyang Kang and Tianqianjin Lin and Changlong Sun and Xiaozhong Liu},
journal= {arXiv preprint arXiv:2312.11927},
year = {2023}
}
备注
14 pages, 6 figures, accepted by AAAI'24