TorchGT：大规模图变换器训练的全方位系统

图变换器是一种新型架构，超越图神经网络在图学习任务中的表现。尽管算法层面出现了鼓舞人心的进展，但其实际应用仍受限，尤其是在涉及数百万节点的真实图上。我们观察到现有的图变换器在大规模图上主要由于计算负重、可扩展性有限和模型质量较差而失败。受此启发，我们提出了 TorchGT，即第一个高效、可扩展且准确的图变换器训练系统。TorchGT 在不同层次上优化训练。在算法层面，TorchGT 利用图稀疏性，引入一种计算高效且保持精度的 Dual-interleaved Attention。 在运行时层面，TorchGT 通过通信轻量的 Cluster-aware Graph Parallelism 实现跨 worker 的扩展。在内核层面，Elastic Computation Reformation 进一步通过动态方式减少内存访问延迟来优化计算。大量实验表明，TorchGT 在训练速度上提升了最高可达 62.7 倍，并支持图序列长度最长达 1M。