用于知识蒸馏的相关性一致性
计算机视觉与模式识别
2019-04-04 v1
摘要
大多数基于知识蒸馏(KD)的师生框架依赖于实例层面上的强一致性约束。然而,它们通常忽略了多个实例之间的相关性,而这对于知识迁移同样具有重要价值。在本工作中,我们提出了一种名为相关性一致性知识蒸馏(CCKD)的新框架,其不仅迁移实例级信息,还迁移实例之间的相关性。此外,提出了一种基于泰勒级数展开的广义核方法,以更好地捕捉实例间的相关性。在图像分类任务(包括 CIFAR-100、ImageNet-1K)和度量学习任务(包括 ReID 和人脸识别)上的实证实验与消融研究表明,所提出的 CCKD 大幅优于原始 KD,并与其他 SOTA 基于 KD 的方法相比取得了最先进的精度。CCKD 可轻松部署于大多数师生框架中,例如 KD 和基于 hint 的学习方法。
引用
@article{arxiv.1904.01802,
title = {Correlation Congruence for Knowledge Distillation},
author = {Baoyun Peng and Xiao Jin and Jiaheng Liu and Shunfeng Zhou and Yichao Wu and Yu Liu and Dongsheng Li and Zhaoning Zhang},
journal= {arXiv preprint arXiv:1904.01802},
year = {2019}
}