通过标签分配蒸馏改进目标检测
计算机视觉与模式识别
2021-10-22 v3
摘要
目标检测中的标签分配旨在为图像中的采样区域分配目标，即前景或背景。与图像分类的标注不同，由于目标边界框的存在，这个问题定义并不明确。本文从蒸馏的角度研究该问题，因此我们称之为标签分配蒸馏（LAD）。我们最初的动机非常简单，即使用一个教师网络为学生网络生成标签。这可以通过两种方式实现：要么使用教师的预测作为直接目标（软标签），要么通过教师动态分配的硬标签（LAD）。我们的实验表明：（i）LAD比软标签更有效，但它们是互补的。（ii）使用LAD，一个较小的教师也能显著提升一个较大的学生，而软标签则不能。我们随后引入了协同学习LAD，其中两个网络同时从零开始学习，教师和学生的角色动态互换。使用PAA-ResNet50作为教师，我们的LAD技术可以将检测器PAA-ResNet101和PAA-ResNeXt101在COCO test-dev集上提升至和。借助更强的教师PAA-SwinB，我们仅通过1倍计划训练和标准设置就将学生PAA-ResNet50提升至，将PAA-ResNet101提升至，显著超越了当前方法。我们的源代码和模型检查点已发布在https://git.io/JrDZo。
引用
@article{arxiv.2108.10520,
title = {Improving Object Detection by Label Assignment Distillation},
author = {Chuong H. Nguyen and Thuy C. Nguyen and Tuan N. Tang and Nam L. H. Phan},
journal= {arXiv preprint arXiv:2108.10520},
year = {2021}
}
备注
To appear in WACV 2022