TuneUp：一种面向图神经网络的简单改进训练策略
机器学习
2023-08-29 v2 人工智能
机器学习
摘要
尽管图神经网络（GNN）近期取得了进展，但其训练策略在很大程度上仍未被充分探索。常规训练策略在原始图中的所有节点上同等学习，这可能是次优的，因为某些节点通常比其他节点更难学习。在此我们提出 TuneUp，一种基于课程的简单训练策略，用于提升 GNN 的预测性能。TuneUp 分两阶段训练 GNN。在第一阶段，TuneUp 应用常规训练以获得一个强大的基础 GNN。该基础 GNN 倾向于在头部节点（度较大的节点）上表现良好，而在尾部节点（度较小的节点）上表现不佳。因此，TuneUp 的第二阶段侧重于通过在合成生成的尾部节点数据上进一步训练基础 GNN，来改善对困难尾部节点的预测。我们对 TuneUp 进行了理论分析，并证明它可证明地改善了在尾部节点上的泛化性能。TuneUp 易于实现，适用于广泛的 GNN 架构和预测任务。对 TuneUp 在五种不同的 GNN 架构、三类预测任务以及直推式和归纳式设置下的广泛评估表明，TuneUp 显著提升了基础 GNN 在尾部节点上的性能，同时通常甚至能提升在头部节点上的性能。总而言之，TuneUp 在直推式和具挑战性的归纳式设置中分别产生了高达 57.6% 和 92.2% 的相对预测性能提升。
引用
@article{arxiv.2210.14843,
title = {TuneUp: A Simple Improved Training Strategy for Graph Neural Networks},
author = {Weihua Hu and Kaidi Cao and Kexin Huang and Edward W Huang and Karthik Subbian and Kenji Kawaguchi and Jure Leskovec},
journal= {arXiv preprint arXiv:2210.14843},
year = {2023}
}