利用图神经网络提取整体知识
计算机视觉与模式识别
2021-08-13 v1
摘要
知识蒸馏（KD）旨在将较大且优化良好的教师网络中的知识迁移到较小的可学习学生网络。现有 KD 方法主要考虑两类知识，即个体知识与关系知识。然而，这两类知识通常独立建模，而其间的固有关联被大幅忽略。对学生网络充分学习而言，整合个体知识与关系知识并保留其固有关联至关重要。本文提出基于实例间构建的属性图来蒸馏新颖的整体知识。该整体知识通过图神经网络聚合关系邻域样本的个体知识表示为统一的基于图的嵌入，学生网络通过对比方式蒸馏整体知识进行学习。在基准数据集上进行了大量实验与消融研究，结果证明了所提方法的有效性。代码已发布于 https://github.com/wyc-ruiker/HKD
引用
@article{arxiv.2108.05507,
title = {Distilling Holistic Knowledge with Graph Neural Networks},
author = {Sheng Zhou and Yucheng Wang and Defang Chen and Jiawei Chen and Xin Wang and Can Wang and Jiajun Bu},
journal= {arXiv preprint arXiv:2108.05507},
year = {2021}
}
备注
Accepted by ICCV 2021