启发式方法是为图链接预测蒸馏MLP的优秀教师
机器学习
2026-02-17 v3 人工智能
摘要
链接预测是图学习中的关键任务，适用于引用预测和产品推荐等应用场景。将图神经网络(GNN)教师蒸馏到多层感知器(MLP)学生中已成为有效的方法，以实现良好性能并降低计算成本，由于消除了对图的依赖。然而，现有的蒸馏方法仅使用标准GNN，忽略了针对链接预测(如GNN4LP)和启发式方法(如共同邻居)等替代教师。本文首先探讨了不同教师在GNN到MLP蒸馏中的影响。意外地，我们发现更强的教师并不总是产生更强的学生：从GNN4LP蒸馏的MLP可能不如从更简单GNN蒸馏的MLP表现，而较弱的启发式方法却能以极大的训练成本降低，教会MLP接近GNN的性能。基于这些发现，我们提出了集成启发式蒸馏MLP(EHDM)，该方法在消除图依赖性的同时，通过门控机制有效整合互补信号。十个数据集上的实验表明，EHDM相对于以前的GNN到MLP方法平均提高了7.93%，训练时间仅为1.95-3.32倍，表明EHDM是一种高效且有效的链接预测方法。我们的代码可在https://github.com/ZongyueQin/EHDM获取。
引用
@article{arxiv.2504.06193,
title = {Heuristic Methods are Good Teachers to Distill MLPs for Graph Link Prediction},
author = {Zongyue Qin and Shichang Zhang and Mingxuan Ju and Tong Zhao and Neil Shah and Yizhou Sun},
journal= {arXiv preprint arXiv:2504.06193},
year = {2026}
}