基于图的知识蒸馏：综述与实验评估
机器学习
2023-03-01 v1
摘要
图（如引文网络、社交网络和交通网络）在现实世界中无处不在。图神经网络（GNNs）因其在各种图应用中的强大表达能力和卓越性能而受到广泛关注。然而，GNNs 的有效性严重依赖于充足的标签数据和复杂的网络模型，前者难以获取，后者计算代价高昂。为解决 GNNs 的标签数据稀缺和高复杂度问题，知识蒸馏（KD）被引入以增强现有 GNNs。该技术将大型教师模型的软标签监督迁移到小型学生模型，同时保持预测性能。本综述全面概述了基于图的知识蒸馏方法，对其进行了系统分类与总结，并讨论了其局限性与未来方向。本文首先介绍图和 KD 的背景，随后对三类基于图的知识蒸馏方法进行了全面总结，即面向深度神经网络的基于图的知识蒸馏（DKD）、面向 GNNs 的基于图的知识蒸馏（GKD）以及基于自知识蒸馏的基于图的知识蒸馏（SKD）。每一类进一步划分为基于输出层、中间层和构造图的知识蒸馏方法。接着，分析并比较了各类算法的思路，并结合实验结果给出了每种算法的优缺点。此外，列举了基于图的知识蒸馏在 CV、NLP、RS 及其他领域的应用。最后，对基于图的知识蒸馏进行了总结与展望。我们已在 https://github.com/liujing1023/Graph-based-Knowledge-Distillation 发布了相关资源。
引用
@article{arxiv.2302.14643,
title = {Graph-based Knowledge Distillation: A survey and experimental evaluation},
author = {Jing Liu and Tongya Zheng and Guanzheng Zhang and Qinfen Hao},
journal= {arXiv preprint arXiv:2302.14643},
year = {2023}
}
备注
25 pages,7 figures, 11 tables