对比引导的跨模态蒸馏用于热红外目标检测

夜间鲁棒感知对热红外检测仍然具有挑战性：低对比度和弱高频线索导致重复、重叠的边界框，遗漏小目标以及类别混淆。先前的补救措施要么将TIR转换为RGB并希望像素保真度能迁移到检测——使得性能对颜色或结构伪影敏感——要么在测试时融合RGB和TIR，这需要额外的传感器、精确的校准和更高的运行成本。这两种方法在有利条件下可能有所帮助，但并未直接塑造检测器所使用的热红外表示。我们保持单模态推理，并在训练期间解决根本原因。具体来说，我们引入了仅用于训练的目标函数，通过拉近同类特征并推远异类特征来锐化实例级决策边界——抑制重复和混淆检测——并通过将学生模型的多级金字塔特征与经过RGB训练的教师模型对齐来注入跨模态语义先验，从而在测试时无需可见光输入即可增强纹理贫乏的热红外特征。在实验中，我们的方法优于先前的方法，并达到了最先进的性能。