面向图神经网络的免图知识蒸馏

知识蒸馏（KD）通过迫使学生网络在训练数据上模仿预训练教师的输出来将知识从教师网络迁移至学生网络。然而，由于数据规模大、隐私或保密等原因，数据样本在许多情况下并非总是可获取的。针对输入位于如图像与视频等连续空间网格域的卷积神经网络（CNNs），已有诸多工作致力于解决该问题，但却很大程度上忽视了处理离散空间中具有不同拓扑结构非网格数据的图神经网络（GNNs）。二者输入的内在差异使得这些基于 CNN 的方法无法适用于 GNNs。本文中，据我们所知我们提出了首个无需图数据即可从 GNN 蒸馏知识的专用方法。所提出的免图 KD（GFKD）通过将图拓扑结构建模为多元伯努利分布来学习用于知识迁移的图拓扑结构。我们随后引入一个梯度估计器来优化该框架。本质上，关于图结构的梯度仅通过使用 GNN 前向传播而非反向传播获得，这意味着 GFKD 与现代 GNN 库（如 DGL 和 Geometric）兼容。此外，我们提供了处理图数据或 GNNs 中不同类型先验知识的策略。大量实验表明，GFKD 在无需训练数据地从 GNNs 蒸馏知识方面达到了最先进的性能。