何时预训练图神经网络？从数据生成视角出发！
机器学习
2023-06-09 v4
摘要
近年来，图预训练获得显著关注，聚焦于从无标注图数据中获取可迁移知识以提升下游性能。尽管有这些近期努力，当将图预训练模型用于下游任务时，负迁移问题仍是主要隐忧。先前研究通过设计多种图预训练与微调策略，在“预训练什么”与“如何预训练”问题上付出巨大努力。然而，仍存在即便最先进的“预训练并微调”范式也未能产生明显收益的情形。本文引入通用框架 W2PGNN 以回答关键问题：在付出艰辛预训练或微调之前，何时该预训练（即何种情形下可利用图预训练）。我们从新视角探索从预训练数据到下游数据的复杂生成机制。特别地，W2PGNN 首先将预训练数据拟合至图基（graphon bases），图基的每个元素（即一个 graphon）辨识出一组预训练图共享的基本可迁移模式。图基的所有凸组合给出生成器空间，从中生成的图构成那些可从预训练获益的下游数据的解空间。如此，预训练的可行性可量化为下游数据由生成器空间中任一生成器生成的概率。W2PGNN 提供三类广泛应用：给出图预训练模型的应用范围、量化预训练可行性、以及辅助选择预训练数据以提升下游性能。我们对第一应用给出理论可靠的求解，并对后两应用给出大量实证依据。
引用
@article{arxiv.2303.16458,
title = {When to Pre-Train Graph Neural Networks? From Data Generation Perspective!},
author = {Yuxuan Cao and Jiarong Xu and Carl Yang and Jiaan Wang and Yunchao Zhang and Chunping Wang and Lei Chen and Yang Yang},
journal= {arXiv preprint arXiv:2303.16458},
year = {2023}
}