互补关系对比蒸馏
计算机视觉与模式识别
2021-03-31 v1
摘要
知识蒸馏旨在将表示能力从教师模型迁移到学生模型。以往方法侧重于个体表示蒸馏或样本间相似性保持。我们认为样本间关系蕴含丰富信息，需以更有效的方式蒸馏。本文提出一种新颖的知识蒸馏方法，即互补关系对比蒸馏（CRCD），以将教师模型的结构知识迁移至学生模型。具体而言，我们以基于锚点的方式估计互关系，并在对应锚点-教师关系监督下蒸馏锚点-学生关系。为增强鲁棒性，互关系由特征及其梯度这两个互补元素建模。此外，通过关系对比损失最大化锚点-教师关系分布与锚点-学生关系分布间互信息的下界，从而可蒸馏样本表示与样本间关系。在不同基准上的实验证明了所提CRCD的有效性。
引用
@article{arxiv.2103.16367,
title = {Complementary Relation Contrastive Distillation},
author = {Jinguo Zhu and Shixiang Tang and Dapeng Chen and Shijie Yu and Yakun Liu and Aijun Yang and Mingzhe Rong and Xiaohua Wang},
journal= {arXiv preprint arXiv:2103.16367},
year = {2021}
}
备注
CVPR2021 Poster