先去除后选择：一种用于 RGB-红外目标检测的由粗到细融合视角
计算机视觉与模式识别
2025-12-30 v6
摘要
近年来，利用可见光 (RGB) 和热红外 (IR) 图像的目标检测引起了广泛关注，并在众多领域得到了广泛应用。通过利用 RGB 和 IR 图像之间的互补特性，目标检测任务可以在从白天到夜晚的各种光照条件下实现可靠且鲁棒的目标定位。大多数现有的多模态目标检测方法直接将 RGB 和 IR 图像输入深度神经网络，导致检测性能不佳。我们认为，这一问题不仅源于有效整合多模态信息的挑战，还源于 RGB 和 IR 模态中冗余特征的存在。各模态的冗余信息会加剧传播过程中的融合不精确问题。为解决这一问题，我们从人脑处理多模态信息的机制中汲取灵感，提出了一种新颖的由粗到细视角，以净化并融合来自两种模态的特征。具体而言，遵循这一视角，我们设计了一个冗余谱去除模块，用于粗略地去除各模态内的干扰信息，以及一个动态特征选择模块，用于精细地选择用于特征融合所需的特征。为了验证由粗到细融合策略的有效性，我们构建了一种新的目标检测器，称为“先去除后选择检测器”(RSDet)。在三个 RGB-IR 目标检测数据集上的大量实验验证了我们方法的优越性能。
引用
@article{arxiv.2401.10731,
title = {Removal then Selection: A Coarse-to-Fine Fusion Perspective for RGB-Infrared Object Detection},
author = {Tianyi Zhao and Maoxun Yuan and Feng Jiang and Nan Wang and Xingxing Wei},
journal= {arXiv preprint arXiv:2401.10731},
year = {2025}
}
备注
11pages, 10figures