通过 MLPs 揭示图学习的潜在能力:使用接纳传播的 MLPs 的有效图学习器
机器学习
2023-11-21 v1 人工智能
信息论
神经与进化计算
社会与信息网络
math.IT
摘要
近期研究尝试利用多层感知机(MLPs)解决图上的半监督节点分类问题,即通过知识蒸馏(KD)从教师图神经网络(GNN)训练学生 MLP。尽管先前研究主要聚焦于在 KD 期间通过匹配教师与学生模型间的输出概率分布来训练学生 MLP,但如何以显式且可解释的方式注入结构信息尚未被系统研究。受将特征变换 与传播 分离的 GNN 启发,我们将 KD 过程重新构建为使学⽣ MLP 显式学习 和 。尽管这可通过在从教师 GNN 蒸馏前施加逆传播 来实现,但其仍带来训练期间大矩阵乘法的高计算成本。为解决该问题,我们提出传播与蒸馏(P&D),其在 KD 前传播教师 GNN 的输出,可被解释为逆传播 的近似过程。通过使用真实世界基准数据集的综合评估,我们展示了 P&D 进一步提升学生 MLP 性能的有效性。
引用
@article{arxiv.2311.11759,
title = {Unveiling the Unseen Potential of Graph Learning through MLPs: Effective Graph Learners Using Propagation-Embracing MLPs},
author = {Yong-Min Shin and Won-Yong Shin},
journal= {arXiv preprint arXiv:2311.11759},
year = {2023}
}
备注
35 pages, 5 figures, 8 tables