LightHGNN：将超图神经网络蒸馏为 MLP 以实现$100\times$更快推理
机器学习
2024-02-20 v2
摘要
超图神经网络（HGNNs）最近备受关注，并因其在高阶相关性建模方面的优势而表现出令人满意的性能。然而，人们注意到超图的高阶建模能力也带来了增加的计算复杂度，阻碍了其在工业界的实际部署。在实践中，我们发现 HGNNs 高效部署的一个关键障碍是推理期间的高阶结构依赖。在本文中，我们提议弥合 HGNNs 与推理高效的多层感知机（MLPs）之间的差距，以消除 HGNNs 的超图依赖，从而降低计算复杂度并提高推理速度。具体而言，我们引入了 LightHGNN 和 LightHGNN以实现低复杂度的快速推理。LightHGNN 通过软标签直接将教师 HGNNs 的知识蒸馏到学生 MLPs 中，而 LightHGNN进一步将可靠的高阶相关性显式注入学生 MLPs 中，以实现拓扑感知蒸馏并抵抗过平滑。在八个超图数据集上的实验表明，即使没有超图依赖，提出的 LightHGNNs 仍能实现与 HGNNs 相当甚至更好的性能，并且平均优于普通 MLPs 。在三个图数据集上的广泛实验进一步显示了我们的 LightHGNNs 相比所有其他方法的平均最佳性能。在拥有 5.5w 顶点的合成超图上的实验表明，LightHGNNs 的运行速度比 HGNNs 快，展示了其在延迟敏感部署中的能力。
引用
@article{arxiv.2402.04296,
title = {LightHGNN: Distilling Hypergraph Neural Networks into MLPs for $100\times$ Faster Inference},
author = {Yifan Feng and Yihe Luo and Shihui Ying and Yue Gao},
journal= {arXiv preprint arXiv:2402.04296},
year = {2024}
}
备注
Some details are missing. The method of this paper is not complete