基于张量列分解的轻量GNN嵌入方法
机器学习
2022-06-22 v1
摘要
本文描述了一种通过张量列(TT)分解更紧凑地表示图神经网络(GNNs)嵌入表的新方法。我们考虑如下场景：(a) 图数据缺乏节点特征，从而需要在训练过程中学习嵌入；以及 (b) 我们希望利用GPU平台，即便对于大内存GPU，也需要更小的表以减少主机到GPU的通信。TT的使用实现了嵌入的紧凑参数化，使其足够小以完全放入现代GPU中，即便对于大规模图也是如此。当与审慎的初始化方案和分层图划分相结合时，该方法在大型公开基准数据集上将节点嵌入向量的大小减少了1,659倍至81,362倍，在多GPU系统上取得了相当或更好的精度以及显著的加速。在某些情况下，我们无需输入显式节点特征的模型甚至可以与使用节点特征的模型精度相匹配。
引用
@article{arxiv.2206.10581,
title = {Nimble GNN Embedding with Tensor-Train Decomposition},
author = {Chunxing Yin and Da Zheng and Israt Nisa and Christos Faloutos and George Karypis and Richard Vuduc},
journal= {arXiv preprint arXiv:2206.10581},
year = {2022}
}
备注
To appear in the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (SIGKDD 22)