DAM-GT：基于双位置编码的注意力掩码图Transformer用于节点分类
机器学习
2025-05-26 v1
摘要
考虑邻域的分词图Transformer最近在节点分类任务中展现出巨大潜力。尽管效果显著，我们对邻域标记的深入分析揭示了现有范式的两个关键局限。第一，当前的邻域标记生成方法未能充分捕获邻域内的属性相关性。第二，传统的自注意力机制在处理邻域标记时存在注意力分散问题，其中高跳邻域获得不成比例的关注，严重破坏了目标节点与其邻域标记之间的信息交互。为应对这些挑战，我们提出了DAM-GT，即基于双位置编码的注意力掩码图Transformer。DAM-GT引入了一种新颖的双位置编码方案，通过属性聚类策略实现属性感知编码，有效保留了节点在拓扑空间和属性空间中的相关性。此外，DAM-GT提出了一种新的注意力机制，采用简单而有效的掩码策略来引导目标节点与其邻域标记之间的交互，克服了注意力分散问题。在具有不同同配性水平和不同规模的各类图上的广泛实验表明，DAM-GT在节点分类任务中持续优于最先进的方法。
引用
@article{arxiv.2505.17660,
title = {DAM-GT: Dual Positional Encoding-Based Attention Masking Graph Transformer for Node Classification},
author = {Chenyang Li and Jinsong Chen and John E. Hopcroft and Kun He},
journal= {arXiv preprint arXiv:2505.17660},
year = {2025}
}
备注
Preprint version