传播与蒸馏：面向使用接纳传播的多层感知机的有效图学习器

近期研究尝试利用多层感知机（MLPs）解决图上的半监督节点分类，通过知识蒸馏从教师图神经网络（GNN）训练学生MLP。尽管先前研究主要关注在蒸馏过程中匹配教师与学生模型间的输出概率分布来训练学生MLP，如何以显式且可解释的方式注入结构信息尚未被系统研究。受将特征变换$T$与传播$\Pi$分离的GNN启发，我们将蒸馏过程重构为使学生MLP同时学习$T$与$\Pi$。尽管这可通过在蒸馏前对教师应用逆传播$\Pi^{-1}$实现，但其仍带来训练中大矩阵乘法的高计算成本。为解决此问题，我们提出传播与蒸馏（Propagate & Distill, P&D），其在蒸馏前传播教师的输出，可解释为逆传播的近似过程。我们证明P&D能轻易提升学生MLP的性能。