HOT：基于高效 Transformer 的高阶动态图表示学习
机器学习
2024-06-17 v2 社会与信息网络
摘要
许多图表示学习（GRL）问题是动态的，每秒有数百万条边被添加或删除。此场景下的一个基本工作负载是动态链接预测：利用图更新的历史来预测给定顶点对是否会建立连接。近期用于此类动态场景的链接预测方案采用 Transformer，将单个图更新建模为单一 token。在本工作中，我们提出 HOT：一种通过利用高阶（HO）图结构来增强这一系列工作的模型；具体而言，即 k-hop 邻居以及包含给定顶点对的更一般的子图。通过将此类 HO 结构编码到底层 Transformer 的注意力矩阵中，可提高链接预测结果的准确率，但代价是内存压力增加。为缓解该问题，我们采用近期一类在注意力矩阵上施加层次结构的方案，显著降低了内存占用。最终设计在 high 准确率与低内存利用之间提供了最佳平衡点。HOT 优于其他动态 GRL 方案，例如在 MOOC 数据集上分别比 DyGFormer、TGN 和 GraphMixer 的准确率高 9%、7% 和 15%。我们的设计可无缝扩展至其他动态 GRL 工作负载。
引用
@article{arxiv.2311.18526,
title = {HOT: Higher-Order Dynamic Graph Representation Learning with Efficient Transformers},
author = {Maciej Besta and Afonso Claudino Catarino and Lukas Gianinazzi and Nils Blach and Piotr Nyczyk and Hubert Niewiadomski and Torsten Hoefler},
journal= {arXiv preprint arXiv:2311.18526},
year = {2024}
}