教会多层感知器掌握异构图结构知识以实现高效且精准的推理
机器学习
2025-07-15 v2
摘要
异构图神经网络（HGNN）因其在捕捉异构图结构中复杂关系及多样关系语义方面的优势，在各种异构图学习任务中取得了显著成果。然而，HGNN 中的结构依赖导致邻域获取延迟，限制了其在需要快速推理的延迟受限应用场景的部署。灵感来源于最近出现的 GNN-to-MLP 知识蒸馏框架，本文引入 HG2M 和 HG2M+，融合 HGNN 的卓越性能与 MLP 的高效推理。HG2M 直接以节点特征为输入、以教师 HGNN 的软标签为目标训练学生 MLP；HG2M+ 进一步通过可靠节点蒸馏和可靠元路径蒸馏，将可靠且异构的语义知识蒸馈到学生 MLP 中。在六个异构图数据集上的实验表明，尽管缺乏结构依赖，HG2M 仍能实现与 HGNN 相当甚至更好的性能，并显著超越普通 MLP。此外，在大规模 IGB-3M-19 数据集上，HG2M 的推理速度比 HGNN 快达 ，展示了其在延迟敏感部署中的潜力。
引用
@article{arxiv.2411.14035,
title = {Teaching MLPs to Master Heterogeneous Graph-Structured Knowledge for Efficient and Accurate Inference},
author = {Yunhui Liu and Xinyi Gao and Tieke He and Jianhua Zhao and Hongzhi Yin},
journal= {arXiv preprint arXiv:2411.14035},
year = {2025}
}
备注
Accepted by IEEE Transactions on Knowledge and Data Engineering (TKDE)