重新审视用于持续目标检测的蒸馏方法

使模型持续训练以从新类别和新域中检测和分类目标，仍是一个开放问题。本文中，我们深入分析了两阶段目标检测模型发生灾难性遗忘的原因与机制。我们聚焦于两阶段网络中的基于蒸馏的方法；这是当前持续目标检测工作中最常用的策略。蒸馏旨在将已在先前任务上训练的模型——教师模型——的知识迁移至学习新任务的新模型——学生模型。我们表明，该方法对区域提议网络效果良好，但教师模型错误且过度自信的预测阻碍了学生模型对分类头的有效学习。我们的分析为改进现有技术奠定了基础：基于当前真实标签检测错误的教师预测，并在分类头蒸馏损失中使用自适应 Huber 损失替代均方误差。我们证明，该策略不仅在类增量设定下有效，在域增量设定下同样有效，而后者构成了现实情境，可能是代表性实际问题的设定。