通过双向知识迁移释放图神经网络的潜力

基于消息传递范式，已有大量研究提出多样且出色的特征传播机制以提升 GNN 的性能。然而，作为消息传递框架的另一主要操作，特征变换较少受到关注。本文中，我们首先通过实证研究了若干典型 GNN 中特征变换操作的性能。出乎意料地，我们注意到 GNN 并未完全释放固有特征变换操作的威力。基于该观察，我们提出双向知识迁移（BiKT），一种无需修改原始架构即可释放特征变换操作潜力的即插即用方法。将特征变换操作视为与原始 GNN 共享参数的派生表示学习模型，该模型的直接预测提供了与拓扑无关的知识反馈，可进一步指导 GNN 及其内部特征变换的学习。在此基础上，BiKT 不仅使我们能从 GNN 及其派生模型中获取知识，还通过向对方注入知识实现相互促进。此外，进一步提供了理论分析，从域适应的角度证明 BiKT 改善了 GNN 的泛化界。在多达 7 个数据集上基于 5 种典型 GNN 的大量实验表明，BiKT 相较原始 GNN 带来最高 0.5%–4% 的性能提升，即获得了增强的 GNN。同时，派生模型也展现出可与原始 GNN 竞争甚至超越的强大性能，使我们能将其独立灵活应用于其他一些特定下游任务。