通过图分段训练学习大图属性预测
机器学习
2023-11-07 v3 社会与信息网络
摘要
学习预测大图的属性具有挑战性，因为每次预测都需要整张图的知识，而训练期间可用的内存量是有限的。在此我们提出图分段训练（GST），一个利用分而治之方法以恒定内存占用实现大图属性预测的通用框架。GST首先将大图划分为若干段，然后在每次训练迭代中仅对采样得到的少数段进行反向传播。我们通过引入历史嵌入表来精炼GST范式，以高效获取未采样用于反向传播的段的嵌入。为缓解历史嵌入的陈旧性，我们设计了两种新技术。首先，我们对预测头进行微调以修正输入分布偏移。其次，我们引入陈旧嵌入丢弃（Stale Embedding Dropout），在训练期间丢弃部分陈旧嵌入以减少偏差。我们在两个大图属性预测基准MalNet和TpuGraphs上评估了完整方法GST-EFD（集成所有技术）。实验表明，GST-EFD兼具内存高效与快速的优点，同时在测试精度上较典型的全图训练方案略有提升。
引用
@article{arxiv.2305.12322,
title = {Learning Large Graph Property Prediction via Graph Segment Training},
author = {Kaidi Cao and Phitchaya Mangpo Phothilimthana and Sami Abu-El-Haija and Dustin Zelle and Yanqi Zhou and Charith Mendis and Jure Leskovec and Bryan Perozzi},
journal= {arXiv preprint arXiv:2305.12322},
year = {2023}
}