自学：面向节点分类的邻域图自蒸馏
机器学习
2023-06-06 v5
摘要
近年来，图神经网络（GNNs）在处理图相关任务方面取得了巨大成功。尽管在学术上取得了巨大成功，多层感知机（MLPs）仍是实际工业应用中的主要工具。造成这种学术与工业差距的一个原因是 GNNs 中数据依赖性所带来的邻域获取延迟，使其难以部署于需要快速推理的延迟敏感型应用。相反，不涉及任何特征聚合的 MLPs 没有数据依赖性，推理比 GNNs 快得多，但其性能竞争力较弱。受这些互补优缺点的启发，我们提出了一种邻域图自蒸馏（GSDN）框架，以缩小 GNNs 与 MLPs 之间的差距。具体而言，GSDN 框架纯粹基于 MLPs，其中结构信息仅被隐式地用作先验，以引导邻域与目标之间的知识自蒸馏，替代了 GNNs 中显式的邻域信息传播。因此，GSDN 在训练中享有图拓扑感知的优势，而在推理中无数据依赖性。大量实验表明，普通 MLPs 的性能可通过自蒸馏大幅提升，例如，GSDN 平均比独立 MLPs 提升 15.54%，并在六个数据集上优于最先进的 GNNs。在推理速度方面，GSDN 比现有 GNNs 快 75–89 倍，比其他推理加速方法快 16–25 倍。
引用
@article{arxiv.2210.02097,
title = {Teaching Yourself: Graph Self-Distillation on Neighborhood for Node Classification},
author = {Lirong Wu and Jun Xia and Haitao Lin and Zhangyang Gao and Zicheng Liu and Guojiang Zhao and Stan Z. Li},
journal= {arXiv preprint arXiv:2210.02097},
year = {2023}
}