SKDF：将开放词汇知识蒸馏至开放世界目标检测器的简单知识蒸馏框架

在本文中，我们试图通过将 VLM 模型的开放世界知识蒸馏到与语言无关的检测器中，使其专门适用于 OWOD 任务。令人惊讶的是，我们观察到，将简单的\textbf{知识蒸馏}方法与 OWOD 中的自动伪标签机制相结合，即使数据量很少，也能在未知目标检测中取得更好的性能。遗憾的是，针对未知目标的知识蒸馏严重影响了具有常规结构的检测器对已知目标的学习，导致灾难性遗忘。为缓解这些问题，我们提出了用于从视觉-语言模态到单视觉模态知识蒸馏的\textbf{降权损失函数}。同时，我们提出了\textbf{级联解耦解码结构}，将定位和识别的学习解耦，以减少已知和未知目标的类别交互对定位学习过程的影响。消融实验表明，这两种方法均能有效缓解开放世界知识蒸馏对已知目标学习的影响。此外，为缓解当前缺乏用于评估开放世界检测器在开放世界中检测未知目标能力的综合基准，我们根据测试场景的复杂性提出了两个基准，分别命名为“\textbf{StandardSet}$\heartsuit$”和“\textbf{IntensiveSet}$\spadesuit$”。在 OWOD、MS-COCO 以及我们提出的基准上进行的综合实验证明了我们方法的有效性。代码和提出的数据集可在 \url{https://github.com/xiaomabufei/SKDF} 获取。