捕捉截断间隙：循环神经网络在动态图上的学习挑战
机器学习
2024-12-31 v1
摘要
以演化相互作用为特征的系统在社交、金融和生物学领域广泛存在，通常被有效地建模为连续时间动态图 (CTDGs)。为管理这些图数据集的规模和复杂性，机器学习方法至关重要。然而，CTDGs 对机器学习方法构成挑战，因为传统的静态图方法不自然地考虑事件时间。较新的方法，如图循环神经网络 (GRNNs)，是时间感知的，相较于静态方法在 CTDGs 上具有优势。然而，GRNNs 面临另一个问题：反向传播通过时间 (BPTT) 的短程截断，其影响迄今未被充分考察。本文我们表明，这种截断会限制对单个跳远以上的依赖关系的学习，导致性能下降。通过在新颖的合成任务和真实数据集上的实验，我们揭示了完整反向传播通过时间 (F-BPTT) 与常用用于训练 GRNN 模型的截断反向传播通过时间 (T-BPTT) 之间存在性能差距。我们称该差距为“截断间隙”，并认为理解和解决它至关重要，因为 CTDGs 的重要性日益增长，讨论了该领域未来研究方向。
引用
@article{arxiv.2412.21046,
title = {Mind the truncation gap: challenges of learning on dynamic graphs with recurrent architectures},
author = {João Bravo and Jacopo Bono and Pedro Saleiro and Hugo Ferreira and Pedro Bizarro},
journal= {arXiv preprint arXiv:2412.21046},
year = {2024}
}
备注
Published in Transactions on Machine Learning Research (TMLR)