图上的知识蒸馏：综述
机器学习
2023-02-02 v1
摘要
图神经网络（GNNs）因其在处理图数据方面展现的能力而备受关注。然而，受模型规模与多跳数据依赖带来的可扩展性限制，它们难以部署在资源受限设备上。此外，真实世界图通常具有复杂的结构信息与特征。因此，为提升 GNNs 的适用性并充分编码复杂的拓扑信息，图上知识蒸馏（KDG）被引入以构建更小却有效的模型，并从数据中挖掘更多知识，从而实现模型压缩与性能提升。近来，KDG 已取得可观进展，涌现诸多研究。本综述中，我们系统回顾这些工作。具体而言，我们首先介绍 KDG 的挑战与基础，随后通过回答以下三个问题对现有 KDG 工作进行分类与总结：1）蒸馏什么，2）谁蒸馏给谁，以及 3）如何蒸馏。最后，我们分享对未来研究方向的思考。
引用
@article{arxiv.2302.00219,
title = {Knowledge Distillation on Graphs: A Survey},
author = {Yijun Tian and Shichao Pei and Xiangliang Zhang and Chuxu Zhang and Nitesh V. Chawla},
journal= {arXiv preprint arXiv:2302.00219},
year = {2023}
}