InfGraND: 一种影响力引导的图神经网络到多层感知机知识蒸馏方法
机器学习
2026-01-14 v1
摘要
图神经网络(GNN)是图数据分析的首选模型。然而，GNN依赖于两个关键操作——聚合和更新，这可能会给低延迟推理任务或资源受限场景带来挑战。简单的多层感知机(MLP)提供了一种计算高效的替代方案。然而，在有监督环境下训练MLP通常会导致次优性能。从GNN教师到MLP学生的知识蒸馏(KD)方法应运而生以弥补这一差距。然而，大多数KD方法要么在所有节点上均匀地传递知识，要么依赖于与图无关的指标（如预测不确定性）。我们认为这忽略了一个更根本的、以图为中心的问题：“一个节点对图的结构有多重要？”我们提出了一个框架InfGraND，一种从GNN到MLP的、受影响力引导的图知识蒸馏方法，通过识别并优先处理具有结构影响力的节点来指导蒸馏过程，从而确保MLP从图中最关键的部分学习。此外，InfGraND通过一次性多跳邻域特征预计算将结构感知嵌入到MLP中，这丰富了学生MLP的输入，从而避免了推理时的开销。我们在七个同质图基准数据集上的直推式和归纳式设置中进行了严格评估，结果表明InfGraND始终优于先前的GNN到MLP的KD方法，证明了其在现实世界中众多延迟关键型应用中的实用性。
引用
@article{arxiv.2601.08033,
title = {InfGraND: An Influence-Guided GNN-to-MLP Knowledge Distillation},
author = {Amir Eskandari and Aman Anand and Elyas Rashno and Farhana Zulkernine},
journal= {arXiv preprint arXiv:2601.08033},
year = {2026}
}
备注
Accepted in Transactions on Machine Learning Research (TMLR), 2026