无框架图知识蒸馏
机器学习
2023-07-14 v1
摘要
知识蒸馏(KD)在将知识从复杂教师模型迁移到简单学生模型方面展现出巨大潜力,使得繁重的学习任务能够高效完成且不损失过多预测精度。近来,许多研究尝试将KD机制应用于图表示学习模型(如图神经网络(GNNs))以通过学生模型加速推理速度。然而,许多现有的基于KD的GNNs在学生模型中使用MLP作为通用逼近器来模仿教师模型的过程,却未考虑来自教师模型的图知识。本工作中,我们提出了一种基于KD的多尺度GNNs框架,称为图小波框架(graph framelet),并证明通过充分利用图小波框架分解所提供的多尺度图知识,学生模型能够适应同配与异配图,并有望通过简单而有效的图手术缓解过压缩(over-squashing)问题。此外,我们从代数与几何两个角度展示了教师提供的图知识如何被学生模型学习与消化。综合实验表明,我们提出的模型在保持高推理速度的同时,能够产生与教师模型相当甚至超越教师模型的学习精度。
引用
@article{arxiv.2307.06631,
title = {Frameless Graph Knowledge Distillation},
author = {Dai Shi and Zhiqi Shao and Yi Guo and Junbin Gao},
journal= {arXiv preprint arXiv:2307.06631},
year = {2023}
}