图神经网络的课程学习：我们应当先学习哪些边
机器学习
2023-10-31 v1
摘要
图神经网络（GNN）通过沿边递归地传播和聚合消息，在表示具有依赖关系的数据方面取得了巨大成功。然而，真实世界图中的边往往具有不同程度的难度，某些边甚至对下游任务存在噪声。因此，现有 GNN 通常平等对待图中的每条边，可能导致学到的表示次优。另一方面，课程学习（CL）模仿人类按有意义顺序学习数据样本的原则，已证明能通过训练时从易到难逐步推进，有效提升表示学习器的泛化能力与鲁棒性。遗憾的是，现有 CL 策略针对独立数据样本设计，无法轻易推广到处理数据依赖关系。为解决这些问题，我们提出了一种新颖的 CL 策略，根据边的难度从易到难逐步将更多边纳入训练，其中难度由给定模型训练状态下边的可预期程度衡量。我们在九个合成数据集和九个真实世界数据集上的大量实验证明了所提方法在提升所学表示的泛化能力与鲁棒性方面的优势。我们提出方法的代码可在 https://github.com/rollingstonezz/Curriculum_learning_for_GNNs 获取。
引用
@article{arxiv.2310.18735,
title = {Curriculum Learning for Graph Neural Networks: Which Edges Should We Learn First},
author = {Zheng Zhang and Junxiang Wang and Liang Zhao},
journal= {arXiv preprint arXiv:2310.18735},
year = {2023}
}
备注
Accepted by NeurIPS 2023