无边却结构感知：从 GNN 到 MLP 的原型引导知识蒸馏
机器学习
2024-12-10 v3 人工智能
摘要
在图任务上将高精度的图神经网络（GNNs）蒸馏为低延迟的多层感知机（MLPs）已成为热门研究课题。然而，传统的 MLP 学习几乎仅依赖于图节点，无法有效捕获图结构信息。先前方法通过将图边处理为 MLPs 的额外输入来解决此问题，但此类图结构在许多场景下可能不可用。为此，我们提出原型引导知识蒸馏（PGKD），它不需要图边（无边设置）却能学习结构感知的 MLPs。我们的见解是从 GNNs 中蒸馏图结构信息。具体而言，我们首先利用类原型分析图结构对 GNN 教师模型的影响，然后设计两种损失将此类信息从 GNNs 蒸馏到 MLPs。在流行图基准上的实验结果证明了所提 PGKD 的有效性与鲁棒性。
引用
@article{arxiv.2303.13763,
title = {Edge-free but Structure-aware: Prototype-Guided Knowledge Distillation from GNNs to MLPs},
author = {Taiqiang Wu and Zhe Zhao and Jiahao Wang and Xingyu Bai and Lei Wang and Ngai Wong and Yujiu Yang},
journal= {arXiv preprint arXiv:2303.13763},
year = {2024}
}
备注
COLING 2025