ProGMLP：一种面向GNN到MLP知识蒸馏的高效权衡渐进式框架
机器学习
2025-07-28 v1
摘要
GNN到MLP（G2M）方法通过将图神经网络（GNN）的知识蒸馏到更简单的多层感知机（MLP）中，已成为加速GNN的一种有前景的方法。这些方法弥合了GNN的表达能力与MLP的计算效率之间的差距，使其非常适合资源受限的环境。然而，现有的G2M方法受限于其无法动态灵活地调整推理成本和精度，而这正是实际应用中对计算资源和时间约束可能变化很大的关键需求。为解决此问题，我们引入了一个渐进式框架，旨在为GNN到MLP的知识蒸馏（ProGMLP）提供灵活且按需的推理成本与精度之间的权衡。ProGMLP采用渐进式训练结构（PTS），其中多个MLP学生模型按顺序训练，每个模型都建立在前一个模型的基础上。此外，ProGMLP结合了渐进式知识蒸馏（PKD）以迭代地优化从GNN到MLP的蒸馏过程，以及渐进式混合增强（PMA）通过逐步生成更难的混合样本来增强泛化能力。我们的方法通过在八个真实世界图数据集上的全面实验得到验证，结果表明ProGMLP在动态适应不同运行时场景的同时保持了高精度，使其在多种应用场景的部署中非常有效。
引用
@article{arxiv.2507.19031,
title = {ProGMLP: A Progressive Framework for GNN-to-MLP Knowledge Distillation with Efficient Trade-offs},
author = {Weigang Lu and Ziyu Guan and Wei Zhao and Yaming Yang and Yujie Sun and Zheng Liang and Yibing Zhan and Dapeng Tao},
journal= {arXiv preprint arXiv:2507.19031},
year = {2025}
}