从图卷积网络中蒸馏知识
计算机视觉与模式识别
2021-01-12 v4
摘要
现有的知识蒸馏方法聚焦于卷积神经网络(CNNs)，其输入样本如图像位于网格域中，而在很大程度上忽视了处理非网格数据的图卷积网络(GCN)。本文中，我们提出了据我们所知首个从预训练GCN模型蒸馏知识的专用方法。为使知识从教师GCN迁移至学生，我们提出一个局部结构保持模块，显式考虑教师的拓扑语义。在该模块中，从教师和学生提取的局部结构信息作为分布，因此最小化这些分布间的距离可实现感知拓扑的知识从教师迁移，从而产生紧凑而高性能的学生模型。此外，所提方法易于扩展至动态图模型，其中教师与学生的输入图可能不同。我们在两个不同数据集上使用不同架构的GCN模型评估了所提方法，并证明我们的方法在GCN模型上达到了最先进(SOTA)的知识蒸馏性能。代码公开于https://github.com/ihollywhy/DistillGCN.PyTorch。
引用
@article{arxiv.2003.10477,
title = {Distilling Knowledge from Graph Convolutional Networks},
author = {Yiding Yang and Jiayan Qiu and Mingli Song and Dacheng Tao and Xinchao Wang},
journal= {arXiv preprint arXiv:2003.10477},
year = {2021}
}
备注
Accepted by CVPR 2020