基于 GNN 的推荐系统在持久内存上的分析与优化
信息检索
2022-11-03 v2 分布式、并行与集群计算
机器学习
摘要
图神经网络（GNNs）已成为处理图上机器学习任务的有效方法，为构建推荐系统提供了新途径，其中推荐任务可被表述为用户-物品二部图上的链接预测问题。在大规模图上训练基于 GNN 的推荐系统（GNNRecSys）会产生巨大的内存占用，轻易超出典型服务器的 DRAM 容量。现有方案求助于分布式子图训练，由于动态构建子图的高成本与子图间的显著冗余而效率低下。新兴的持久内存技术以可接受的成本提供了比 DRAM 大得多的内存容量，使单机 GNNRecSys 训练成为可能，从而消除了分布式训练中的低效性。将持久内存设备用于 GNNRecSys 的一个主要担忧是其相对于 DRAM 的较低带宽。这一限制对 GNNRecSys 工作负载达成高性能尤为不利，因为其主导计算核是稀疏且内存访问密集的。为理解持久内存是否适合 GNNRecSys 训练，我们对 GNNRecSys 工作负载进行了深入表征，并在名为 Intel Optane 的持久内存设备上对其性能进行了全面分析。基于分析，我们提供了如何为 GNNRecSys 工作负载配置 Optane 的指南。此外，我们提出了大批量训练技术以充分发挥单机 GNNRecSys 训练的优势。实验结果表明，在调优的批大小与最优系统配置下，基于 Optane 的单机 GNNRecSys 训练大幅优于分布式训练，尤其在处理深层 GNN 模型时。
引用
@article{arxiv.2207.11918,
title = {Analysis and Optimization of GNN-Based Recommender Systems on Persistent Memory},
author = {Yuwei Hu and Jiajie Li and Zhongming Yu and Zhiru Zhang},
journal= {arXiv preprint arXiv:2207.11918},
year = {2022}
}