通过自适应知识蒸馏提升图神经网络
机器学习
2023-04-06 v2
摘要
图神经网络（GNNs）在多种图挖掘任务上展现出卓越性能。尽管不同的GNN可统一为相同的消息传递框架，它们从同一图中学习到互补的知识。知识蒸馏（KD）被发展用于结合来自多个模型的多样知识，它将知识从高容量教师模型迁移到轻量级学生模型。然而，为避免过平滑，GNN通常较浅，这偏离了KD的设定。在此背景下，我们通过将KD的益处与模型压缩分离并强调其知识迁移的能力来重新审视KD。为此，我们需要应对两个挑战：如何将知识从紧凑的教师模型迁移到具有相同容量的学生模型；以及如何利用学生GNN自身的优势来学习知识。在本文中，我们提出一种新颖的自适应KD框架，称为BGNN，它顺序地将来自多个GNN的知识迁移到学生GNN中。我们还引入了自适应温度模块和权重提升模块。这些模块引导学生获取恰当的知识以实现有效学习。大量实验证明了BGNN的有效性。特别地，相较于原始GNNs，我们在节点分类上实现了高达3.05%的提升，在图分类上实现了高达6.35%的提升。
引用
@article{arxiv.2210.05920,
title = {Boosting Graph Neural Networks via Adaptive Knowledge Distillation},
author = {Zhichun Guo and Chunhui Zhang and Yujie Fan and Yijun Tian and Chuxu Zhang and Nitesh Chawla},
journal= {arXiv preprint arXiv:2210.05920},
year = {2023}
}