全景视角 Transformer：用于动态链接预测的自适应 Token 融合

动态图学习在建模随时间演变的关系方面发挥着关键作用，尤其是在交通系统、社交网络和推荐平台等领域的时序链接预测任务中。虽然基于 Transformer 的模型通过捕捉长程时序依赖性显示出强大的性能，但其对自注意力机制的依赖导致与序列长度成正比的二次复杂度，限制了在高频或大规模图上的可扩展性。本文重新审视动态图建模中自注意力的必要性。受最近表明 Transformer 成功更多归因于其架构设计而非注意力本身的发现启发，我们提出了 GLFormer——一种用于动态图的无注意力 Transformer 风格框架。GLFormer 引入一种自适应 token 混合器，基于相互作用顺序和时间间隔执行上下文感知的局部聚合。为捕捉长期依赖，我们进一步设计了层次化聚合模块，通过在不同层级堆叠局部 token 混合器来扩大时序感受野。在六个广泛使用的数据集上进行实验表明，GLFormer 实现了 SOTA 性能，这表明在动态图设置下，无注意力架构能够在显著提高效率的同时与 Transformer 基线相当或超越。