面向动态图Transformer的超拉普拉斯编码
机器学习
2024-11-18 v2
摘要
全连接图Transformer在静态图社区中已迅速成为消息传递模型的替代方案，后者存在表达能力不足、过挤压和欠覆盖等问题。然而，在动态上下文中，通过自注意力互连多个快照中的所有节点，图Transformer会丢失结构和时间信息。在这项工作中，我们引入了面向时空Transformer的超拉普拉斯编码（SLATE），这是一种新的时空编码，旨在利用图Transformer架构的同时保留时空信息。具体来说，我们将离散时间动态图转化为多层图，并利用其关联超拉普拉斯矩阵的谱特性。我们的第二个贡献是使用交叉注意力机制显式地建模节点对的成对关系，为动态链接预测提供精确的边表示。SLATE在9个数据集上优于众多基于消息传递图神经网络结合循环模型（如LSTM）和动态图Transformer的最先进方法。代码可在github.com/ykrmm/SLATE获取。
引用
@article{arxiv.2409.17986,
title = {Supra-Laplacian Encoding for Transformer on Dynamic Graphs},
author = {Yannis Karmim and Marc Lafon and Raphael Fournier S'niehotta and Nicolas Thome},
journal= {arXiv preprint arXiv:2409.17986},
year = {2024}
}