FreeKD：面向图神经网络的自由方向知识蒸馏
机器学习
2023-03-28 v4
摘要
知识蒸馏（KD）已证明其提升图神经网络（GNNs）性能的有效性，其目标是将较深教师 GNN 的知识蒸馏到较浅学生 GNN 中。然而，由于众所周知的过参数化与过平滑问题，实际中很难训练出令人满意的教师 GNN，导致知识迁移失效。本文中，我们提出首个通过强化学习实现的图神经网络自由方向知识蒸馏框架，称为 FreeKD，其不再需要提供较深的优化良好的教师 GNN。我们工作的核心思想是协作构建两个较浅 GNN，通过强化学习以分层方式在二者间交换知识。由于我们观察到典型 GNN 模型在训练时对不同节点常表现出较好与较差的性能，我们设计了一种动态自由方向知识迁移策略，包含两级动作：1）节点级动作确定两网络对应节点间知识迁移的方向；2）结构级动作确定由节点级动作生成的哪些局部结构将被传播。本质上，我们的 FreeKD 是一个通用且原则性的框架，可自然兼容不同架构的 GNN。在五个基准数据集上的大量实验表明，FreeKD 大幅优于两个基础 GNN，并展现出对各种 GNN 的有效性。更令人惊讶的是，FreeKD 具有与传统 KD 算法（从较深较强教师 GNN 蒸馏知识）相当甚至更优的性能。
引用
@article{arxiv.2206.06561,
title = {FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks},
author = {Kaituo Feng and Changsheng Li and Ye Yuan and Guoren Wang},
journal= {arXiv preprint arXiv:2206.06561},
year = {2023}
}
备注
Accepted to KDD 2022