时空图神经网络中的过度压抑问题
机器学习
2025-11-04 v2 人工智能
摘要
图神经网络(GNN)在 various 领域取得了显著的成功。然而,最近的理论进展识别到了其信息传播能力的根本局限性,例如过度压抑,其中远距离节点未能有效交换信息。虽然在静态上下文中广泛研究了此问题,但在处理与图节点相关序列的时空图神经网络(STGNNs)中仍未得到探讨。然而,时序维度通过增加必须传递的信息量,放大了这一挑战。在本工作中,我们形式化了时空过度压抑问题,并展示了其与静态情况的 distinct 特征。我们的分析揭示了,出于 counterintuitively 的原因,卷积 STGNNs更倾向于来自时序上遥远的点进行信息传播,而不是在时间上靠近的点。此外,我们证明了遵循 time-and-space 或 time-then-space 处理范式的体系结构同样受到这一现象的影响,为计算上高效的实现提供了理论依据。我们在 synthetic 和 real-world 数据集上验证了我们的发现,为更深入的其运行动力学和原则指导的更有效设计提供了见解。
引用
@article{arxiv.2506.15507,
title = {Over-squashing in Spatiotemporal Graph Neural Networks},
author = {Ivan Marisca and Jacob Bamberger and Cesare Alippi and Michael M. Bronstein},
journal= {arXiv preprint arXiv:2506.15507},
year = {2025}
}
备注
Accepted at NeurIPS 2025