重新思考多光谱目标检测中的早期融合策略

最新的多光谱目标检测器采用两种支架结构从 RGB 和热成像图像中提取特征。虽然两种支架结构比单支架结构取得了更好的性能，但忽略了推理效率。这一冲突日益尤为严重，因为近期作品仅追求更高的性能，而非兼顾性能和效率。本文通过提高单支架结构的性能来解决此问题。我们重新审视了导致这些结构之间性能差距的原因。首次我们揭示了之前单支架结构所采用的天真早期融合策略中的信息干扰问题。此外，我们发现多光谱图像之间的域间隙以及单支架结构的弱特征表示也是性能的关键障碍。针对这三个问题，我们分别提出相应的解决方案，包括一种新颖的形状优先早期融合策略、一种弱监督学习方法，以及一种核心知识蒸馏技术。实验表明，配备这三个贡献的单支架网络在保持高效率的同时实现了显著的性能提升。我们的代码将在 \url{https://github.com/XueZ-phd/Efficient-RGB-T-Early-Fusion-Detection} 上提供。