TASER：用于快速准确动态图表示学习的时空自适应抽样
机器学习
2024-11-26 v3 人工智能
摘要
最近,时空图神经网络 (TGNN) 在诸多高影响应用中表现突出，包括欺诈检测和内容推荐。尽管 TGNN 取得了成功，但它们容易受到现实动态图中常见噪声的影响，如时间已过期的链接和不均衡的互动分布。噪声导致两个关键问题显著损害 TGNN 的准确性：(1) 模型受低质量互动的监督，(2) 噪声输入导致聚合消息方差偏高。然而,当前的 TGNN 去噪技术并不考虑每个节点的多样性和动态噪声模式。此外,它们也因遍历更多邻居而导致过度的 mini-batch 生成开销。我们认为快速准确的 TGNN 的解方之处在于时空自适应抽样。本文提出 TASER,这是一种为 TGNN 优化的首个自适应抽样方法,在准确性、效率和可扩展性方面均表现出色。TASER 根据训练动力学调整 mini-batch 选择,并根据过去互动的上下文、结构和时空属性进行时空邻居选择。为缓解 mini-batch 生成中的瓶颈,TASER 实现了纯 GPU 基于时空的邻居查找器和专用 GPU 特征缓存。我们使用两种最先进的 TGNN 主干模型评估了 TASER 的性能。在五个流行数据集上,TASER 在平均 Mean Reciprocal Rank (MRR) 上比相应基线模型提高了 2.3%,同时在训练时间上实现了平均 5.1 倍的加速。
引用
@article{arxiv.2402.05396,
title = {TASER: Temporal Adaptive Sampling for Fast and Accurate Dynamic Graph Representation Learning},
author = {Gangda Deng and Hongkuan Zhou and Hanqing Zeng and Yinglong Xia and Christopher Leung and Jianbo Li and Rajgopal Kannan and Viktor Prasanna},
journal= {arXiv preprint arXiv:2402.05396},
year = {2024}
}
备注
IPDPS 2024