FALCON：面向内存高效 GNN 的特征 - 标签约束图网络坍缩

图神经网络 (GNN) 开启了互联数据集机器学习的新纪元。虽然传统神经网络只能在独立样本上训练，但 GNN 允许在训练过程中包含样本间交互。然而，这种增益带来了额外的内存成本，使得大多数 GNN 难以扩展到涉及数千万节点的真实世界应用（例如社交圈、Web 图和脑图）。这意味着将图存储在主内存中都很困难，更不用说用显著更少的 GPU 内存训练 GNN 模型了。虽然近期文献主要集中在 GNN 的小批量方法或量化上，但图归约方法仍然非常稀缺。此外，现有的图归约方法存在若干缺点。首先，大多数图归约仅关注推理阶段（例如凝聚和蒸馏），需要完整的图 GNN 训练，并未减少训练内存占用。其次，许多方法仅关注图的结构方面，忽略了初始种群的特征 - 标签分布，导致归约后的标签分布偏斜。在此，我们提出特征 - 标签约束图网络坍缩 (Feature-Label COnstrained graph Net collapse, FALCON) 以解决这些局限性。我们的三个核心贡献在于：(i) 设计了 FALCON，这是一种保留特征 - 标签分布的拓扑感知图归约技术；(ii) 将 FALCON 与其他内存缩减方法（即小批量 GNN 和量化）结合实施，以进一步减少内存；(iii) 针对最先进 (SOTA) 方法进行广泛的基准测试和消融研究，以评估 FALCON 的内存缩减效果。我们的广泛结果表明，FALCON 可以显著坍缩各种公共数据集，同时在 GNN 模型上实现同等的预测质量。代码：https://github.com/basiralab/FALCON