多任务自监督图神经网络实现更强的任务泛化
机器学习
2023-03-01 v3
摘要
图神经网络（GNN）的自监督学习（SSL）近年来因其在无需昂贵标签信息情况下学习高性能节点嵌入的能力，受到图机器学习社区越来越多的关注。传统 GNN 的 SSL 框架的一个弱点是它们通过单一理念学习，例如互信息最大化或生成式重构。当应用于各种下游任务时，这些框架很少能在每个任务上表现同样好，因为单一理念可能无法涵盖所有任务所需的广泛知识。为增强跨任务的任务泛化，作为探索基础图模型的重要第一步，我们引入 PARETOGNN，一种用于图上节点表示学习的多任务 SSL 框架。具体而言，PARETOGNN 通过观察多种理念的流形前置任务进行自监督。为调和不同理念，我们探索了一种多梯度下降算法，使得 PARETOGNN 从每个前置任务主动学习的同时最小化潜在冲突。我们在四个下游任务（即节点分类、节点聚类、链接预测与分区预测）上进行了综合实验，我们的方案在 11 个广泛采用的基准数据集上取得了跨任务的最佳总体性能。此外，我们观察到从多种理念学习不仅增强了任务泛化，也提升了单任务性能，表明 PARETOGNN 通过从不同理念学到的 disjoint yet 互补的知识实现了更好的任务泛化。我们的代码公开于 https://github.com/jumxglhf/ParetoGNN。
引用
@article{arxiv.2210.02016,
title = {Multi-task Self-supervised Graph Neural Networks Enable Stronger Task Generalization},
author = {Mingxuan Ju and Tong Zhao and Qianlong Wen and Wenhao Yu and Neil Shah and Yanfang Ye and Chuxu Zhang},
journal= {arXiv preprint arXiv:2210.02016},
year = {2023}
}
备注
ICLR'23, v3: update the acknowledgement and corresponding authors