Todyformer：基于结构感知分词的整体动态图 Transformer
机器学习
2024-02-12 v1
摘要
时序图神经网络因其能够对演化的结构和时间模式进行建模并展现出优异的性能而备受关注。然而，已知这些架构受到过挤压和过平滑等问题的制约，从而限制了其性能。同时，Transformer 已证明其具备有效解决长程依赖相关挑战的卓越计算能力。因此，我们提出了 Todyformer——一种专为动态图设计的基于 Transformer 的新型神经网络。它通过以下方式将消息传递神经网络（MPNNs）的局部编码能力与 Transformer 的全局编码统一起来：i）一种用于动态图的新型分块范式以缓解过挤压；ii）一种利用 MPNNs 的结构感知参数化分词策略；iii）一种带有时间位置编码的 Transformer 以捕获长程依赖；iv）一种在局部和全局上下文化之间交替的编码架构，以缓解 MPNNs 中的过平滑现象。在公开基准数据集上的实验评估表明，Todyformer 在下游任务中始终优于现有最先进方法。此外，我们阐明了所提模型在有效捕获动态图中广泛时间依赖性方面的内在机制。
引用
@article{arxiv.2402.05944,
title = {Todyformer: Towards Holistic Dynamic Graph Transformers with Structure-Aware Tokenization},
author = {Mahdi Biparva and Raika Karimi and Faezeh Faez and Yingxue Zhang},
journal= {arXiv preprint arXiv:2402.05944},
year = {2024}
}