面向图神经网络的自监督图结构精化
机器学习
2023-03-02 v4 人工智能
摘要
图结构学习(GSL)旨在为图神经网络(GNNs)学习邻接矩阵,已在提升 GNN 性能方面展现出巨大潜力。多数现有 GSL 工作采用联合学习框架,其中估计的邻接矩阵与 GNN 参数针对下游任务进行优化。然而,由于 GSL 本质上是一个链接预测任务,其目标可能与下游任务目标大相径庭。这两个目标的不一致限制了 GSL 方法学习潜在最优图结构。此外,联合学习框架在邻接矩阵估计与优化过程中面临时间与空间上的可扩展性问题。为缓解这些问题,我们提出一种具有预训练-微调流程的图结构精化(GSR)框架。具体而言,预训练阶段旨在通过兼具视图内与视图间链接预测任务的多视图对比学习框架来全面估计底层图结构。随后,依据预训练模型估计的边概率通过添加与移除边来精化图结构。最后,微调 GNN 由预训练模型初始化并面向下游任务优化。由于精化后的图结构在微调空间中保持静态,GSR 避免了在微调阶段估计与优化图结构,从而具备极佳的可扩展性与效率。此外,微调 GNN 同时受益于知识迁移与图精化。我们进行了大量实验以评估所提模型的有效性(在六个基准数据集上取得最佳性能)、效率与可扩展性(在 Cora 上较最佳 GSL 基线快 13.8 倍且仅用 32.8% GPU 显存)。
引用
@article{arxiv.2211.06545,
title = {Self-Supervised Graph Structure Refinement for Graph Neural Networks},
author = {Jianan Zhao and Qianlong Wen and Mingxuan Ju and Chuxu Zhang and Yanfang Ye},
journal= {arXiv preprint arXiv:2211.06545},
year = {2023}
}
备注
WSDM 2023