利用数据增强探索目标检测中不一致知识蒸馏

用于目标检测的知识蒸馏(Knowledge Distillation, KD)旨在通过从教师模型迁移知识来训练紧凑的检测器。由于教师模型感知数据的方式与人类不同，现有的 KD 方法仅蒸馏与人工专家标注标签一致的知识，而忽略了与人类感知不一致的知识，这导致蒸馏不充分和次优性能。在本文中，我们提出不一致知识蒸馏(inconsistent knowledge distillation, IKD)，旨在蒸馏教师模型反直觉感知中固有的知识。我们首先考虑教师模型对频率和非鲁棒特征的反直觉感知。与以往利用细粒度特征或引入额外正则化的工作不同，我们通过使用数据增强提供多样化输入来提取不一致知识。具体而言，我们提出样本特定的数据增强以迁移教师模型捕捉不同频率分量的能力，并建议对抗特征增强以提取教师模型对数据中非鲁棒特征的感知。大量实验证明了我们方法的有效性，其在单阶段、两阶段和无锚框目标检测器上优于最先进的 KD 基线(最高 +1.0 mAP)。我们的代码将在 https://github.com/JWLiang007/IKD.git 提供。