通过前向近期采样实现可扩展且高效的时序图表示学习
机器学习
2024-11-26 v2
摘要
时序图表示学习(TGRL)对于对现实世界网络中的动态系统进行建模至关重要。然而,传统的 TGRL 方法尽管有效,但由于时序邻居的低效采样,通常面临重大的计算挑战和推理延迟。传统的采样方法通常涉及回溯每个节点的交互历史。在本文中,我们提出了一个新颖的 TGRL 框架 No-Looking-Back(NLB),它通过引入前向近期采样策略来克服这些挑战。该策略通过为每个节点利用一个可在 GPU 上执行的、大小受限的哈希表,消除了回溯历史交互的需要。该哈希表记录了一组下采样的近期交互,从而能够以极低的推理延迟实现快速查询响应。该哈希表的维护非常高效,以 复杂度运行。NLB 完全兼容 GPU 处理,最大化了可编程性、并行性和能效。实证评估表明,NLB 不仅在六个真实世界数据集上的链路预测和节点分类等任务中的准确率匹配或超越了现有技术,而且与具有竞争力的基线相比,实现了 1.32-4.40 倍更快的训练速度、1.2-7.94 倍更高的能效以及 1.63-12.95 倍更低的推理延迟。代码链接:https://github.com/Graph-COM/NLB。
引用
@article{arxiv.2402.01964,
title = {Scalable and Efficient Temporal Graph Representation Learning via Forward Recent Sampling},
author = {Yuhong Luo and Pan Li},
journal= {arXiv preprint arXiv:2402.01964},
year = {2024}
}
备注
Learning on Graphs Conference (LoG 2024)