LSP：通过局部敏感图剪枝实现图神经网络的加速与正则化
机器学习
2021-11-11 v1 人工智能
摘要
图神经网络（GNNs）已成为与图相关任务中极为成功的工具。然而，现实世界问题涉及非常庞大的图，而将这些 GNNs 拟合到这些问题所需的计算资源增长迅速。此外，现实世界图的噪声本质与规模若未恰当正则化会导致 GNNs 过拟合。令人惊讶的是，近期工作表明大型图常包含许多冗余成分，可在不过多损害性能的前提下移除。这包括在 GNNs 各层推理期间的节点或边移除，或作为稀疏化输入图的预处理步骤。这一引人注目的现象促成了当前最优（state-of-the-art）且高效准确的 GNNs 的发展。在本文中，我们进一步致力于揭示该现象，并提出一种基于局部敏感哈希的系统性图剪枝方法——局部敏感剪枝（LSP）。我们旨在稀疏化图，使原图中相似的局部环境在所得稀疏化图中产生相似的环境，这是图相关任务的一项本质特征。为论证基于局部图性质的剪枝之应用，我们例证了在各种场景下基于局部性质的剪枝相对于其他剪枝策略的优势。在合成与真实世界数据集上的大量实验证明了 LSP 的优越性：其从大型图中移除大量边而不损害性能，并带来可观的加速。
引用
@article{arxiv.2111.05694,
title = {LSP : Acceleration and Regularization of Graph Neural Networks via Locality Sensitive Pruning of Graphs},
author = {Eitan Kosman and Joel Oren and Dotan Di Castro},
journal= {arXiv preprint arXiv:2111.05694},
year = {2021}
}