ReHub：线性复杂度图变换器 with 自适应枢纽- spoke 重分配

我们提出了ReHub，这是一种通过高效的枢纽- spoke 重分配技术实现线性复杂度的新型图变换器架构。图变换器由于能够显式利用长程节点通信，正在成为图学习领域的重要工具，能够解决如过平滑和过压扁等局限性。然而，它们稠密注意力机制随节点数量的平方增长，限制了其在大规模图上的应用。ReHub受航空公司枢纽- spoke 模型的启发，航班被分配以优化操作效率。在我们的方法中，图节点( spoke)在每个模型层级上动态地重新分配给固定数量的虚拟节点(枢纽)。最近的工作Neural Atoms( Li等人，2024)已显示，通过利用此类虚拟节点可在GNN基线上实现显著且持续的改进；其发现表明，枢纽的数量对性能影响显著。然而，增加枢纽的数量通常会提高复杂度，需要在保持线性复杂度方面进行权衡。我们的关键洞察是，每个节点只需要与少数枢纽互动即可实现线性复杂度，即使总枢纽数量很大。为了在不增加额外计算成本的情况下利用所有枢纽，我们提出了一种基于枢纽-枢纽相似性得分的简单而有效的自适应重分配技术，消除了昂贵的节点-枢纽计算的需求。我们的实验表明，在LRGB数据集上，ReHub consistently地优于基线方法Neural Atoms，同时保持线性复杂度。值得注意的是，我们的稀疏模型在性能上与其非稀疏对应物持平。此外，ReHub在各种基准测试中均优于竞争方法， consistently 位居前列。