利用层次距离结构编码增强图Transformer
机器学习
2024-05-28 v4 人工智能
社会与信息网络
摘要
图Transformer需要强大的归纳偏置以推导有意义的注意力分数。然而，当前方法在捕捉更长范围、层次结构或社区结构方面常常不足，而这些结构在分子、社交网络和引文网络等各类图中十分常见。本文提出一种层次距离结构编码（HDSE）方法，对图中节点距离进行建模，重点关注其多层次、层次化本质。我们引入了一种新颖框架，将HDSE无缝集成到现有图Transformer的注意力机制中，允许与其他位置编码同时应用。为将带HDSE的图Transformer应用于大规模图，我们进一步提出了一种高层HDSE，有效偏置线性Transformer朝向图层次结构。我们从理论上证明了HDSE在表达能力和泛化性上优于最短路径距离。在经验上，我们展示了带HDSE的图Transformer在7个图级数据集上的图分类、回归，以及11个大规模图（包括多达十亿节点的图）上的节点分类均表现优异。
引用
@article{arxiv.2308.11129,
title = {Enhancing Graph Transformers with Hierarchical Distance Structural Encoding},
author = {Yuankai Luo and Hongkang Li and Lei Shi and Xiao-Ming Wu},
journal= {arXiv preprint arXiv:2308.11129},
year = {2024}
}