永不跳过批次：通过自适应伪监督实现时序图神经网络的持续训练
机器学习
2025-05-20 v1
摘要
时序图网络（TGN）虽然准确，但由于动态图中不规则的监督信号导致稀疏的梯度更新，面临显著的训练效率低下问题。我们首先从理论上证明，将历史节点交互聚合为伪标签可以降低梯度方差，从而加速收敛。基于此分析，我们提出了历史平均标签（HAL），这是一种通过从历史标签分布中导出的伪目标动态丰富训练批次的方法。HAL 通过将空闲计算转化为富有成效的学习步骤，确保在不修改架构的情况下进行连续的参数更新。在时序图基准（TGB）上的实验验证了我们的发现以及关于用户偏好缓慢变化的假设：HAL 将 TGNv2 的训练加速了高达 15 倍，同时保持了有竞争力的性能。因此，这项工作为时序图学习中的标签稀疏性问题提供了一种高效、轻量级、架构无关且有理论支撑的解决方案。
引用
@article{arxiv.2505.12526,
title = {Never Skip a Batch: Continuous Training of Temporal GNNs via Adaptive Pseudo-Supervision},
author = {Alexander Panyshev and Dmitry Vinichenko and Oleg Travkin and Roman Alferov and Alexey Zaytsev},
journal= {arXiv preprint arXiv:2505.12526},
year = {2025}
}