学习针对极端模态不平衡的鲁棒 RGB-热红外检测器
计算机视觉与模式识别
2025-05-29 v1
摘要
RGB-热红外（RGB-T）目标检测利用热红外（TIR）图像来补充 RGB 数据，提高了在挑战性条件下的鲁棒性。传统的 RGB-T 检测器假设训练数据是平衡的，即两种模态同等贡献。然而，在真实世界场景中，由于环境因素或技术问题导致的模态退化可能会引起极端的模态不平衡，导致测试期间的分布外（OOD）问题并破坏训练期间的模型收敛。本文通过提出一种新颖的基础-辅助检测器架构来解决这些挑战。我们引入了一个模态交互模块，根据模态的质量自适应地对其进行加权，并有效处理不平衡样本。此外，我们利用模态伪退化来模拟训练数据中的真实世界不平衡。在高质量对上训练的基础检测器为接收退化样本的辅助检测器提供了一致性约束。该框架增强了模型的鲁棒性，确保即使在严重的模态退化下也能保持可靠的性能。实验结果证明了我们的方法在处理极端模态不平衡（将缺失率降低 55%）以及改进各种基线检测器性能方面的有效性。
引用
@article{arxiv.2505.22154,
title = {Learning A Robust RGB-Thermal Detector for Extreme Modality Imbalance},
author = {Chao Tian and Chao Yang and Guoqing Zhu and Qiang Wang and Zhenyu He},
journal= {arXiv preprint arXiv:2505.22154},
year = {2025}
}