SignGT：基于符号注意力的图 Transformer 用于图表示学习
机器学习
2023-10-18 v1 社会与信息网络
摘要
新兴的图 Transformer 在图表示学习上已取得优于图神经网络（GNNs）的令人瞩目性能。本工作中，我们将图 Transformer 的核心模块——自注意力机制——视为全连接图上的两步聚合操作。由于生成正注意力值的特性，自注意力机制等同于对所有节点进行平滑操作，保留低频信息。然而，仅在多样图上（如高频信息至关重要的异配图）学习节点复杂关系时，仅捕获低频信息是低效的。为此，我们提出基于符号注意力的图 Transformer（SignGT），以自适应捕获图中的各类频率信息。具体而言，SignGT 发展了全新的符号自注意力机制（SignSA），依据节点对的语义相关性产生带符号的注意力值，从而精细保留不同节点对间的多样频率信息。此外，SignGT 提出结构感知前馈网络（SFFN），引入邻域偏置以保留局部拓扑信息。由此，SignGT 可从长程依赖与局部拓扑信息中习得富含信息的节点表示。在节点级与图级任务上的大量实证结果表明，SignGT 优于最先进图 Transformer 及先进 GNNs。
引用
@article{arxiv.2310.11025,
title = {SignGT: Signed Attention-based Graph Transformer for Graph Representation Learning},
author = {Jinsong Chen and Gaichao Li and John E. Hopcroft and Kun He},
journal= {arXiv preprint arXiv:2310.11025},
year = {2023}
}
备注
Submitted to a conference