PKD：基于皮尔逊相关系数的目标检测器通用蒸馏框架
计算机视觉与模式识别
2022-12-01 v2 人工智能
摘要
知识蒸馏(KD)是一种在目标检测中训练紧凑模型的广泛使用技术。然而，关于如何在异构检测器之间进行蒸馏仍缺乏研究。在本文中，我们通过实验发现，尽管异构教师检测器的检测头与标签分配不同，但其更好的FPN特征仍可帮助学生模型。然而，直接对齐特征图来蒸馏检测器存在两个问题。首先，教师与学生之间特征量级的差异可能对学生在过于严格的约束。其次，教师模型中具有大量级特征的FPN阶段与通道可能主导蒸馏损失的梯度，从而淹没KD中其他特征的作用并引入大量噪声。为解决上述问题，我们提出利用皮尔逊相关系数来模仿特征，以关注来自教师的关系信息，并放宽对特征量级的约束。我们的方法持续优于现有的检测KD方法，且适用于同构与异构的学生-教师对。此外，它收敛更快。以强大的MaskRCNN-Swin检测器作为教师，基于ResNet-50的RetinaNet与FCOS在COCO2017上分别达到41.5%与43.9%的mAP，较基线分别高出4.1%与4.8%。
引用
@article{arxiv.2207.02039,
title = {PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient},
author = {Weihan Cao and Yifan Zhang and Jianfei Gao and Anda Cheng and Ke Cheng and Jian Cheng},
journal= {arXiv preprint arXiv:2207.02039},
year = {2022}
}
备注
Accepted in NeurIPS 2022