GraphFM：通过特征动量改进大规模 GNN 训练
机器学习
2022-06-22 v2 人工智能
摘要
用于大规模节点分类的图神经网络（GNNs）训练具有挑战性。一个关键难点在于获得准确的隐节点表示，同时避免邻域爆炸问题。在此，我们提出一种称为特征动量（FM）的新技术，其在更新特征表示时使用动量步以纳入历史嵌入。我们开发了两种具体算法，即 GraphFM-IB 和 GraphFM-OB，分别考虑批内与批外数据。GraphFM-IB 将 FM 应用于批内采样数据，而 GraphFM-OB 将 FM 应用于作为批内数据 1-跳邻域的批外数据。我们为 GraphFM-IB 提供了收敛性分析，并为 GraphFM-OB 给出了一些理论见解。经验上，我们观察到 GraphFM-IB 能有效缓解现有方法的邻域爆炸问题。此外，GraphFM-OB 在多个大规模图数据集上取得了有前景的性能。
引用
@article{arxiv.2206.07161,
title = {GraphFM: Improving Large-Scale GNN Training via Feature Momentum},
author = {Haiyang Yu and Limei Wang and Bokun Wang and Meng Liu and Tianbao Yang and Shuiwang Ji},
journal= {arXiv preprint arXiv:2206.07161},
year = {2022}
}
备注
ICML 2022