PRES：迈向可扩展的基于记忆的动态图神经网络
机器学习
2024-02-27 v2
摘要
基于记忆的动态图神经网络 (MDGNN) 是一类利用记忆模块来提取、提炼和记忆长期时间依赖关系的动态图神经网络，其性能优于无记忆的对应模型。然而，训练 MDGNN 面临着处理纠缠的时间和结构依赖关系的挑战，需要对数据序列进行顺序和按时间顺序的处理以捕捉准确的时间模式。在批量训练期间，同一批次内的时间数据点将被并行处理，而它们的时间依赖关系却被忽略。这个问题被称为时间不连续性，它限制了有效的时间批量大小，限制了数据并行性，并降低了 MDGNN 在工业应用中的灵活性。本文研究了大规模高效训练 MDGNN 的问题，重点关注在使用大时间批量大小训练 MDGNN 时的时间不连续性。我们首先对时间批量大小对 MDGNN 训练收敛性的影响进行了理论研究。基于该分析，我们提出了 PRES，这是一种结合记忆一致性学习目标的迭代预测 - 校正方案，旨在减轻时间不连续性的影响，使 MDGNN 能够在不牺牲泛化性能的情况下使用显著更大的时间批量进行训练。实验结果表明，我们的方法使 MDGNN 训练期间的时间批量大小增加了高达 4 倍（速度提升 3.4 倍）。
引用
@article{arxiv.2402.04284,
title = {PRES: Toward Scalable Memory-Based Dynamic Graph Neural Networks},
author = {Junwei Su and Difan Zou and Chuan Wu},
journal= {arXiv preprint arXiv:2402.04284},
year = {2024}
}