通过图拓扑诱导的最优传输微调图神经网络
机器学习
2022-05-11 v1
摘要
近来，预训练-微调范式因其在缓解众多真实应用中标签匮乏问题上的能力，在图学习领域备受关注。现有研究使用从图像或文本数据衍生出的既有技术，如权重约束、表示约束，将不变知识从预训练阶段迁移至微调阶段。然而，这些方法未能保留图结构与图神经网络（GNN）风格模型的不变性。本文中，我们提出一种新颖的基于最优传输的微调框架，称为 GTOT-Tuning，即图拓扑诱导最优传输微调（Graph Topology induced Optimal Transport fine-Tuning），用于 GNN 风格骨干网络。GTOT-Tuning 需利用图数据特性来增强微调网络所产生表示的保持。为此，我们将图局部知识迁移形式化为带结构先验的最优传输（OT）问题，并构建 GTOT 正则化项以约束微调模型行为。通过利用节点间邻接关系，GTOT 正则化项实现了节点级最优传输过程并减少冗余传输过程，从而高效地从预训练模型迁移知识。我们在八个下游任务上以多种 GNN 骨干网络评估 GTOT-Tuning，并证明其取得了 GNN 最先进的微调性能。
引用
@article{arxiv.2203.10453,
title = {Fine-Tuning Graph Neural Networks via Graph Topology induced Optimal Transport},
author = {Jiying Zhang and Xi Xiao and Long-Kai Huang and Yu Rong and Yatao Bian},
journal= {arXiv preprint arXiv:2203.10453},
year = {2022}
}
备注
24 pages, 13 figures