MentorGNN：为图神经网络预训练推导课程
机器学习
2022-08-23 v1
摘要
图预训练策略因其在无需任何标签信息的情况下参数化图神经网络（GNNs）的灵活性，而在图挖掘社区中吸引了大量关注。其关键思想在于通过预测从输入图中提取的掩码图信号，将有价值的信息编码进骨干 GNNs。为了平衡多样化图信号（例如节点、边、子图）的重要性，现有方法大多通过引入超参数来重新加权图信号重要性，属人工设计。然而，带有次优超参数的人工干预常常注入额外偏差，并恶化下游应用中的泛化性能。本文从新视角解决这些局限，即为预训练 GNNs 推导课程。我们提出一个名为 MentorGNN 的端到端模型，旨在跨具有不同结构和相异特征空间的图来监督 GNNs 的预训练过程。为了在不同粒度上理解异构图信号，我们提出一种课程学习范式，自动重新加权图信号，以确保在目标域中良好的泛化。此外，我们通过推导预训练 GNNs 泛化误差的一个自然且可解释的上界，对关系数据（即图）上的域适应问题提供了新见解。在大量真实图上的广泛实验验证并确认了 MentorGNN 的性能。
引用
@article{arxiv.2208.09905,
title = {MentorGNN: Deriving Curriculum for Pre-Training GNNs},
author = {Dawei Zhou and Lecheng Zheng and Dongqi Fu and Jiawei Han and Jingrui He},
journal= {arXiv preprint arXiv:2208.09905},
year = {2022}
}
备注
Accepted by CIKM 2022