可变形图 Transformer
机器学习
2022-10-05 v2
摘要
基于 Transformer 的模型最近在图结构数据上的表示学习中取得了成功，超越了自然语言处理和计算机视觉。然而，由于图上全点积注意力的缺陷，例如相对于节点数的二次复杂度和来自大量不相关节点的消息聚合，该成功仅限于小规模图。为解决这些问题，我们提出可变形图 Transformer（DGT），它通过动态采样相关节点执行稀疏注意力，以线性节点复杂度高效处理大规模图。具体而言，我们的框架首先依据多种准则构建多个节点序列，以兼顾结构和语义邻近性。然后，结合我们可学习的 Katz 位置编码，将稀疏注意力应用于节点序列以学习节点表示，显著降低计算成本。大量实验表明，我们的 DGT 在 7 个图基准数据集上取得了最先进性能，与具有全注意力的基于 Transformer 的图模型相比，计算成本降低了 2.5 至 449 倍。
引用
@article{arxiv.2206.14337,
title = {Deformable Graph Transformer},
author = {Jinyoung Park and Seongjun Yun and Hyeonjin Park and Jaewoo Kang and Jisu Jeong and Kyung-Min Kim and Jung-woo Ha and Hyunwoo J. Kim},
journal= {arXiv preprint arXiv:2206.14337},
year = {2022}
}
备注
16 pages, 3 figures