层-邻居采样——化解 GNN 中的邻域爆炸
机器学习
2023-05-23 v2
摘要
图神经网络（GNNs）近来受到广泛关注，但在大规模下训练它们仍具挑战性。小批量训练结合采样被用于缓解这一挑战。然而，现有方法要么遭受邻域爆炸现象，要么性能不佳。为解决这些问题，我们提出一种称为层-邻居采样（LAyer-neighBOR sampling, LABOR）的新采样算法。它被设计为邻居采样（Neighbor Sampling, NS）的直接替代方案，具有相同的扇出（fanout）超参数，同时采样至多少 7 倍的顶点，且不牺牲质量。根据设计，从单个顶点的视角看，每个顶点的估计量方差与 NS 一致。此外，在相同顶点采样预算约束下，LABOR 比现有的层采样方法收敛更快，并且相比 NS 可使用至多 112 倍的批量大小。
引用
@article{arxiv.2210.13339,
title = {Layer-Neighbor Sampling -- Defusing Neighborhood Explosion in GNNs},
author = {Muhammed Fatih Balın and Ümit V. Çatalyürek},
journal= {arXiv preprint arXiv:2210.13339},
year = {2023}
}