GNNAutoScale：基于历史嵌入的可扩展且具表达力的图神经网络
机器学习
2021-06-11 v1
摘要
我们提出 GNNAutoScale（GAS），一个将任意消息传递 GNN 扩展到大型图的框架。GAS 利用先前训练迭代中的历史嵌入来剪枝计算图的整个子树，从而相对于输入节点大小实现恒定的 GPU 内存消耗而不丢弃任何数据。虽然现有解决方案由于边的子采样或不可训练的传播而削弱了消息传递的表达力，我们的方法可证明能够保持原始 GNN 的表达力。我们通过提供历史嵌入的近似误差界并展示如何在实践中收紧它们来实现这一点。在经验上，我们展示了我们框架的实际实现 PyGAS（PyTorch Geometric 的一个易于使用的扩展）既快速又内存高效，学习具表达力的节点表示，密切接近其非扩展对应方法的性能，并在大规模图上达到最先进的性能。
引用
@article{arxiv.2106.05609,
title = {GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings},
author = {Matthias Fey and Jan E. Lenssen and Frank Weichert and Jure Leskovec},
journal= {arXiv preprint arXiv:2106.05609},
year = {2021}
}
备注
Published as a conference paper at ICML 2021