中文

通过 MLPs 揭示图学习的潜在能力:使用接纳传播的 MLPs 的有效图学习器

机器学习 2023-11-21 v1 人工智能 信息论 神经与进化计算 社会与信息网络 math.IT

摘要

近期研究尝试利用多层感知机(MLPs)解决图上的半监督节点分类问题,即通过知识蒸馏(KD)从教师图神经网络(GNN)训练学生 MLP。尽管先前研究主要聚焦于在 KD 期间通过匹配教师与学生模型间的输出概率分布来训练学生 MLP,但如何以显式且可解释的方式注入结构信息尚未被系统研究。受将特征变换 TT 与传播 Π\Pi 分离的 GNN 启发,我们将 KD 过程重新构建为使学⽣ MLP 显式学习 TTΠ\Pi。尽管这可通过在从教师 GNN 蒸馏前施加逆传播 Π1\Pi^{-1} 来实现,但其仍带来训练期间大矩阵乘法的高计算成本。为解决该问题,我们提出传播与蒸馏(P&D),其在 KD 前传播教师 GNN 的输出,可被解释为逆传播 Π1\Pi^{-1} 的近似过程。通过使用真实世界基准数据集的综合评估,我们展示了 P&D 进一步提升学生 MLP 性能的有效性。

关键词

引用

@article{arxiv.2311.11759,
  title  = {Unveiling the Unseen Potential of Graph Learning through MLPs: Effective Graph Learners Using Propagation-Embracing MLPs},
  author = {Yong-Min Shin and Won-Yong Shin},
  journal= {arXiv preprint arXiv:2311.11759},
  year   = {2023}
}

备注

35 pages, 5 figures, 8 tables