LGD：面向目标检测的边标签引导自蒸馏

本文提出首个面向通用目标检测的自蒸馏框架，称为 LGD（Label-Guided self-Distillation，标签引导自蒸馏）。以往研究依赖强预训练教师模型以提供指导知识，而在真实场景中该知识可能不可得。相反，我们仅基于学生表征与常规标签生成指导知识。我们的框架包含稀疏标签-表观编码器、对象间关系适配器与对象内知识映射器，它们在训练阶段联合构成一个隐式教师，动态依赖于标签与演进的学生表征。它们与检测器端到端训练，并在推理时丢弃。实验上，LGD 在各种检测器、数据集及如实例分割等广泛任务中取得可观结果。例如在 MS-COCO 数据集上，LGD 将 2x 单尺度训练下基于 ResNet-50 的 RetinaNet 从 36.2% 提升至 39.0% mAP（+2.8%）。它将 2x 多尺度训练下基于 ResNeXt-101 DCN v2 的更强检测器 FCOS 从 46.1% 提升至 47.9% mAP（+1.8%）。与经典的基于教师的方法 FGFI 相比，LGD 不仅无需预训练教师且表现更优，还相较学生固有学习减少了 51% 的训练成本。代码见 https://github.com/megvii-research/LGD。