提取图神经网络知识并超越之：一种有效的知识蒸馏框架
机器学习
2021-03-05 v1 社会与信息网络
摘要
图上的半监督学习是机器学习领域的一个重要问题。近年来，基于图神经网络（GNNs）的最先进分类方法已展现出优于标签传播等传统方法的性能。然而，这些神经模型复杂的架构会导致复杂的预测机制，无法充分利用数据中宝贵的先验知识，例如结构相关节点往往具有相同类别。本文提出一种基于知识蒸馏的框架以解决上述问题。我们的框架提取任意已训练 GNN 模型（教师模型）的知识，并将其注入精心设计的 student 模型中。该 student 模型由两种简单预测机制构建，即标签传播与特征变换，分别自然地保留了基于结构和基于特征的先验知识。具体而言，我们将 student 模型设计为参数化标签传播与特征变换模块的可训练组合。因此，学习到的 student 可同时受益于先验知识与 GNN 教师中的知识，从而实现更有效的预测。此外，学习到的 student 模型比 GNNs 具有更可解释的预测过程。我们在五个公开基准数据集上开展实验，并采用包括 GCN、GAT、APPNP、SAGE、SGC、GCNII 和 GLP 在内的七种 GNN 模型作为教师模型。实验结果表明，学习到的 student 模型平均可稳定地以 1.4%–4.7% 优于其对应教师模型。代码与数据见 https://github.com/BUPT-GAMMA/CPF
引用
@article{arxiv.2103.02885,
title = {Extract the Knowledge of Graph Neural Networks and Go Beyond it: An Effective Knowledge Distillation Framework},
author = {Cheng Yang and Jiawei Liu and Chuan Shi},
journal= {arXiv preprint arXiv:2103.02885},
year = {2021}
}