基于基序驱动的图表示对比学习
机器学习
2021-04-19 v3
摘要
通过自监督对比学习预训练图神经网络（GNN）近来备受关注。然而，多数现有工作聚焦于节点级对比学习，无法捕捉全局图结构。开展子图级对比学习的关键挑战在于采样具有语义信息的有意义子图。为此，我们提出学习图基序（即频繁出现的子图模式，如分子的功能基团）以改进子图采样。我们的框架MotIf-driven Contrastive leaRning Of Graph representations（MICRO-Graph）能够：1）使用GNN从大规模图数据集中提取基序；2）利用学到的基序采样信息丰富的子图以进行GNN的对比学习。我们将基序学习表述为可微聚类问题，并采用EM聚类将相似且显著的子图分组为若干基序。在这些所学基序的引导下，训练一个采样器以生成更具信息性的子图，并通过图到子图的对比学习利用这些子图训练GNN。通过在ogbg-molhiv数据集上使用MICRO-Graph进行预训练，预训练的GNN在各种下游基准数据集上实现了2.04%的ROC-AUC平均性能提升，显著高于其他最先进的自监督学习基线。
引用
@article{arxiv.2012.12533,
title = {Motif-Driven Contrastive Learning of Graph Representations},
author = {Shichang Zhang and Ziniu Hu and Arjun Subramonian and Yizhou Sun},
journal= {arXiv preprint arXiv:2012.12533},
year = {2021}
}