通过蒸馏将图神经网络结构知识注入Transformer：一种新方法

将图神经网络（GNN）的结构归纳偏置与Transformer的全局上下文建模能力相结合，代表了图表示学习中的关键挑战。虽然GNN通过消息传递机制擅长捕获局部拓扑模式，但其在建模长程依赖和可并行性方面的固有局限限制了其在大规模场景中的部署。相反，Transformer利用自注意力机制实现全局感受野，但难以继承GNN的内在图结构先验。本文提出一种新型知识蒸馏框架，系统性地将GNN教师模型中的多尺度结构知识传递给Transformer学生模型，为解决跨架构蒸馏的关键挑战提供了新视角。该框架通过微观-宏观蒸馏损失和多尺度特征对齐，有效桥接了GNN与Transformer之间的架构差距。这一工作确立了在Transformer架构中继承图结构偏置的新范式，具有广泛的应用前景。