用加权图游走自动机桥接 Transformer 的图位置编码
机器学习
2023-04-11 v4
摘要
鉴于 Transformer 在语言和视觉任务上的成功，图神经网络文献中的一个当前目标是使 Transformer 能处理图结构数据。由于 Transformer 原始的正弦位置编码（PEs）不适用于图，近期工作聚焦于开发基于谱图理论或图的各种空间特征的图 PEs。在本工作中，我们引入一种新的图 PE——图自动机 PE（GAPE），其基于加权图游走自动机（图游走自动机的新颖扩展）。我们在机器翻译和图结构任务上比较了 GAPE 与其他 PE 方案的性能，并表明它推广了若干其他 PEs。本研究的另一贡献是对图 Transformer 中许多近期 PEs 进行的理论与受控实验比较，该比较独立于边特征的使用。
引用
@article{arxiv.2212.06898,
title = {Bridging Graph Position Encodings for Transformers with Weighted Graph-Walking Automata},
author = {Patrick Soga and David Chiang},
journal= {arXiv preprint arXiv:2212.06898},
year = {2023}
}
备注
Camera-ready version, reduced certain claims and minor rewording