TIDFormer：利用时间与交互动态构建卓越的动态图 Transformer
机器学习
2025-06-03 v1
摘要
由于自注意力机制 (SAM) 在序列建模中捕获依赖关系的卓越能力，一些现有的动态图神经网络 (DGNN) 利用具有各种编码设计的 Transformer 架构来捕获动态图的序列演化。然而，这些基于 Transformer 的 DGNN 的有效性和效率差异很大，突显了在动态图上正确定义 SAM 以及在不增加复杂模块的情况下全面编码时间和交互动态的重要性。在本工作中，我们提出了 TIDFormer，一种以高效方式充分利用时间和交互动态的动态图 Transformer。我们阐明并验证了所提出 SAM 的可解释性，解决了先前工作中其在动态图上定义不可解释的开放问题。为了分别对时间和交互动态进行建模，我们利用基于日历的时间划分信息，并仅使用采样的一阶邻居为二部图和非二部图提取信息丰富的交互嵌入。此外，我们通过简单的分解捕获历史交互模式中的潜在变化，从而联合建模时间和交互特征。我们在多个动态图数据集上进行了广泛实验，以验证 TIDFormer 的有效性和效率。实验结果表明，TIDFormer 表现优异，在大多数数据集和实验设置中优于 SOTA 模型。此外，与先前基于 Transformer 的方法相比，TIDFormer 展现出显著的效率优势。
关键词
引用
@article{arxiv.2506.00431,
title = {TIDFormer: Exploiting Temporal and Interactive Dynamics Makes A Great Dynamic Graph Transformer},
author = {Jie Peng and Zhewei Wei and Yuhang Ye},
journal= {arXiv preprint arXiv:2506.00431},
year = {2025}
}
备注
KDD2025