TGL：十亿规模图上时序 GNN 训练的通用框架
机器学习
2022-07-04 v2
摘要
许多真实世界图包含时域信息。时序图神经网络在生成动态节点嵌入时捕获时序信息以及结构与上下文信息。研究者已表明这些嵌入在许多不同任务中达到了最先进 (SOTA) 性能。本工作中，我们提出 TGL，一个面向大规模离线时序图神经网络训练的统一种框架，用户可通过简单配置文件组合各种时序图神经网络。TGL 包含五个主要组件：时序采样器、邮箱、节点记忆模块、记忆更新器与消息传递引擎。我们设计了 Temporal-CSR 数据结构与并行采样器，以高效采样时序邻居来构成训练小批量。我们提出一种新颖的随机块调度技术，缓解了使用大批量训练时节点记忆过时的问题。为应对当前 TGNN 仅在小规模数据集上评估的局限，我们引入了两个分别具有 2 亿与 13 亿时序边的大规模真实数据集。我们在四个小规模数据集上用单 GPU、在两个大规模数据集上用多 GPU 评估 TGL 在链接预测与节点分类任务上的性能。我们将 TGL 与五种方法的开源代码比较，表明 TGL 取得了相似或更好的精度，且平均加速 13 倍。我们的时序并行采样器在多核 CPU 上相较基线平均加速 173 倍。在 4-GPU 机器上，TGL 可在 1–10 小时内训练超过十亿时序边的一个 epoch。据我们所知，这是首个提出多 GPU 上大规模时序图神经网络训练通用框架的工作。
引用
@article{arxiv.2203.14883,
title = {TGL: A General Framework for Temporal GNN Training on Billion-Scale Graphs},
author = {Hongkuan Zhou and Da Zheng and Israt Nisa and Vasileios Ioannidis and Xiang Song and George Karypis},
journal= {arXiv preprint arXiv:2203.14883},
year = {2022}
}
备注
VLDB'22