通过两阶段互动增强学习小批量图Transformer
机器学习
2024-07-16 v1
摘要
小批量图Transformer（MGT）作为一种新兴的图学习模型，已在半监督节点预测任务中显示出显著优势，具有 improved 计算效率和增强的模型鲁棒性。然而，现有处理局部信息的方法要么依赖抽样，要么仅采用简单聚合，这分别导致关键邻居信息的丢失和压制。此外，每个小批量中节点数的有限性限制了模型捕获图全局特征的能力。本文提出了LGMformer，这是一种新的MGT模型，采用两种阶段的互动增强策略，从局部到全局，以解决上述瓶颈。局部互动增强（LIA）提出了邻居-目标互动Transformer（NTIformer），以获得对邻居与目标节点之间相互作用模式的洞察， resulting in 一个 locally 有效的 token 列表作为MGT的输入。相比之下，全局互动增强（GIA）采用交叉注意力机制将整个图原型纳入目标节点的表示中，从而补偿全局图信息以确保更全面的感知。鉴于此，LGMformer在MGT范式下实现了对节点表示的增强。实验结果显示，在十个基准数据集上的节点分类任务表明，所提出的方法有效。我们的代码可在 https://github.com/l-wd/LGMformer 获取。
引用
@article{arxiv.2407.09904,
title = {Learning a Mini-batch Graph Transformer via Two-stage Interaction Augmentation},
author = {Wenda Li and Kaixuan Chen and Shunyu Liu and Tongya Zheng and Wenjie Huang and Mingli Song},
journal= {arXiv preprint arXiv:2407.09904},
year = {2024}
}
备注
8 pages, 4 figures, Accept by ECAI2024