用于检测器知识蒸馏的深度结构化实例图
计算机视觉与模式识别
2021-09-28 v1
摘要
有效地结构化深层知识在从教师模型到学生模型的迁移中起着关键作用，尤其是在语义视觉任务中。本文提出了一种简单的知识结构，以利用和编码检测系统内部的信息，从而促进检测器知识蒸馏。具体而言，为了解决特征不平衡问题，同时进一步挖掘语义实例内部缺失的关系，我们设计了一个图，其节点对应于实例提议级别的特征，边表示节点之间的关系。为了进一步优化该图，我们设计了一种自适应背景损失权重以减少节点噪声，并采用背景样本挖掘来剪枝琐碎的边。我们将整个图作为编码的知识表示从教师模型迁移到学生模型，同时捕获局部和全局信息。在具有挑战性的 COCO 目标检测任务上，我们在单阶段和双阶段检测器上使用多种学生-教师对，取得了新的最优结果。我们还对实例分割进行了实验，以证明我们方法的鲁棒性。值得注意的是，采用 ResNet18-FPN 和 ResNet50-FPN 的蒸馏 Faster R-CNN 在 COCO 基准上分别取得了 38.68 和 41.82 的 Box AP，而采用 ResNet101-FPN 的 Faster R-CNN 显著达到了 43.38 AP，比 ResNet152-FPN 教师模型高出约 0.7 AP。代码：https://github.com/dvlab-research/Dsig。
引用
@article{arxiv.2109.12862,
title = {Deep Structured Instance Graph for Distilling Object Detectors},
author = {Yixin Chen and Pengguang Chen and Shu Liu and Liwei Wang and Jiaya Jia},
journal= {arXiv preprint arXiv:2109.12862},
year = {2021}
}
备注
ICCV 2021