任务集成蒸馏用于目标检测器

知识蒸馏是广泛采用的模型轻量化技术。然而，在目标检测领域，大多数知识蒸馏方法的性能并不令人满意。通常，知识蒸馏方法只考虑目标检测器两个子任务中的分类任务，很大程度上忽略了回归任务。这种忽视导致对目标检测器综合任务的部分理解，产生有偏估计和潜在的不利影响。因此，我们提出一种同时处理分类和回归任务的知识蒸馏方法，并引入任务重要性策略。通过基于检测器两个子任务的输出来评估特征的重要性，我们的方法确保了目标检测中分类和回归任务的平衡考虑。受现实教学过程中学习条件定义的启发，我们引入了一种同时关注关键区域和薄弱区域的方法。通过根据特征的重要性差异评估其用于知识蒸馏的价值，我们准确捕捉当前模型的学习状况。该方法有效防止了因不完全利用检测器输出而导致的模型学习现实预测偏差问题。