轻量级 GCNs 中的子图间隙桥接：PromptGCN
机器学习
2024-10-15 v1 人工智能
摘要
图卷积网络 (GCN) 在社交网络和推荐系统等图基应用中广泛使用。然而，大规模图或全批次 GCN 中的深层聚合层会消耗大量 GPU 内存，导致在主流 GPU 上发生内存溢出 (OOM) 错误（例如，Ogbnproducts 图上 5 层仅需 29GB 内存）。子图采样方法通过将图划分为多个子图并依次在每个子图上训练 GCN 来降低内存消耗，以实现轻量级 GCN。然而，这些方法会导致子图之间存在间隙，即 GCN 只能基于子图进行训练，而无法利用全局图信息，从而降低 GCN 的准确率。本文提出一种名为 PromptGCN 的新型 prompt-based 轻量级 GCN 模型，用于桥接子图之间的间隙。首先，设计可学习的 prompt 嵌入以获取全局信息。随后，将 prompt 嵌入到每个子图中，以在子图之间传递全局信息。在七个大规模图上的广泛实验结果表明，PromptGCN 在基准方法之上表现出优异的性能。值得注意的是，PromptGCN 在 Flickr 数据集上将子图采样方法的准确率提高最高可达 5.48%。总体而言，PromptGCN 可以轻松与任何子图采样方法集成，以获得更高准确率的轻量级 GCN 模型。
引用
@article{arxiv.2410.10089,
title = {PromptGCN: Bridging Subgraph Gaps in Lightweight GCNs},
author = {Shengwei Ji and Yujie Tian and Fei Liu and Xinlu Li and Le Wu},
journal= {arXiv preprint arXiv:2410.10089},
year = {2024}
}