面向目标检测的通用实例蒸馏
计算机视觉与模式识别
2021-05-03 v2
摘要
近年来，知识蒸馏已被证明是模型压缩的有效方案。该方法可使轻量级学生模型获取繁琐教师模型中提取的知识。然而，以往的检测蒸馏方法对不同检测框架泛化性弱，且严重依赖真实标注（GT），忽略了实例间有价值的关系信息。为此，我们提出一种基于判别性实例、不考虑由 GT 区分正负样本的新型检测任务蒸馏方法，称为通用实例蒸馏（GID）。我们的方法包含通用实例选择模块（GISM），以充分利用基于特征、基于关系和基于响应的知识进行蒸馏。大量结果表明，学生模型在各种检测框架下取得显著的 AP 提升，甚至超越教师模型。具体而言，在 COCO 数据集上，采用 ResNet-50 的 RetinaNet 经 GID 达到 39.1% mAP，较基线 36.2% 提升 2.9%，甚至优于基于 ResNet-101 的教师模型（38.1% AP）。
引用
@article{arxiv.2103.02340,
title = {General Instance Distillation for Object Detection},
author = {Xing Dai and Zeren Jiang and Zhao Wu and Yiping Bao and Zhicheng Wang and Si Liu and Erjin Zhou},
journal= {arXiv preprint arXiv:2103.02340},
year = {2021}
}
备注
10 pages (including 2 pages of References), 5 figures, 7 tables. Accepted by CVPR 2021. Camera Ready