基于提示自由方向知识蒸馏的图神经网络共享式成长
机器学习
2023-11-17 v3
摘要
知识蒸馏（KD）已被证明能有效提升图神经网络（GNN）的性能，其典型目标是将知识从较深的教师 GNN 蒸馏到较浅的学生 GNN。然而，由于众所周知的过参数化和过平滑问题，训练满意的较深 GNN 通常颇具挑战，导致实际应用中知识迁移无效。在本文中，我们提出了首个通过强化学习实现的 GNN 自由方向知识蒸馏框架，称为 FreeKD，它不再需要提供较深的优化良好的教师 GNN。我们的核心思想是协作学习两个较浅的 GNN，在它们之间交换知识。由于我们观察到典型 GNN 模型在训练过程中常在不同节点上表现出较好和较差的性能，我们设计了一种动态的自由方向知识迁移策略，包含两级动作：1）节点级动作确定两个网络对应节点间的知识迁移方向；然后 2）结构级动作确定由节点级动作生成的哪些局部结构被传播。此外，考虑到不同的增广图可能捕捉图数据的不同视角，我们提出 FreeKD-Prompt，基于提示学习学习无失真且多样的增广以交换 varied 知识。进一步，我们开发 FreeKD++，将知识交换从两个 GNN 扩展到多个 GNN 间的自由方向知识迁移。在五个基准数据集上的大量实验表明，我们的方法大幅优于基础 GNN。更令人惊讶的是，我们的 FreeKD 具有与从较深且更强的教师 GNN 蒸馏知识的传统 KD 算法相当甚至更好的性能。
引用
@article{arxiv.2307.00534,
title = {Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation},
author = {Kaituo Feng and Yikun Miao and Changsheng Li and Ye Yuan and Guoren Wang},
journal= {arXiv preprint arXiv:2307.00534},
year = {2023}
}
备注
arXiv admin note: substantial text overlap with arXiv:2206.06561