SUREL+:从随机游走到节点集以实现可扩展的基于子图的图表示学习
机器学习
2023-12-29 v3 数据库
分布式、并行与集群计算
摘要
基于子图的图表示学习(SGRL)因其在模型表达力和泛化能力上的优势,近期已成为图上许多预测任务的有力工具。大多数先前的 SGRL 模型面临计算挑战,其源于为每个训练或测试查询提取子图的高昂代价。近来,SUREL 被提出以加速 SGRL,它离线采样随机游走并在线将这些游走连接作为子图的代理用于表示学习。得益于采样游走在不同的查询间可复用,SUREL 在可扩展性和预测精度上达到了最先进性能。然而,SUREL 仍受采样游走中节点重复导致的高计算开销所困。在本工作中,我们提出新颖框架 SUREL+,通过使用节点集而非游走来表征子图,从而改进 SUREL。这种基于集合的表示按定义消除了重复节点,但也可能具有不规则的大小。为解决此问题,我们设计了一种定制的稀疏数据结构以高效存储和访问节点集,并提供专用算子以并行批量连接它们。SUREL+ 被模块化以支持多种集合采样器、结构特征和神经编码器类型,以弥补从游走到集合简化后造成的结构信息损失。我们进行了大量实验,在链接、关系类型和更高阶模式的预测任务中验证 SUREL+。SUREL+ 取得了相对于 SUREL 的 3-11 加速,同时保持可比甚至更优的预测性能;相较于其他 SGRL 基线,SUREL+ 实现了约 20 加速并显著提升了预测精度。
引用
@article{arxiv.2303.03379,
title = {SUREL+: Moving from Walks to Sets for Scalable Subgraph-based Graph Representation Learning},
author = {Haoteng Yin and Muhan Zhang and Jianguo Wang and Pan Li},
journal= {arXiv preprint arXiv:2303.03379},
year = {2023}
}
备注
This is an extended version of the full paper that appeared in PVLDB 16.11(VLDB 2023)