关于模态不完整红外-可见目标检测：一种架构兼容性视角
计算机视觉与模式识别
2025-11-11 v1 人工智能
摘要
红外-可见目标检测（IVOD）是众多围绕全天候应用的关键任务。尽管取得了显著进展，但当前 IVOD 模型在面对不完整模态数据时表现显著下降，尤其当占主导地位的模态缺失时。本文从架构兼容性角度对模态不完整 IVOD 问题进行彻底调查。具体而言，我们提出了一个即插即用 Scarf Neck 模块，用于 DETR 变体，引入模态无关的可变形注意力机制，使 IVOD 检测器能够灵活适应训练和推理中的单模态或双模态。训练 Scarf-DETR 时，我们设计了伪模态 dropout 策略，以充分利用多模态信息，使检测器对单模态和双模态两种工作模式都具备兼容性和鲁棒性。此外，我们引入了针对模态不完整 IVOD 任务的全面基准测试，以全面评估缺失模态为主导或次要的情况。我们提出的 Scarf-DETR 不仅在缺失模态场景中表现卓越，还在标准 IVOD 模态完整基准测试中取得优异性能。我们的代码将发布于 https://github.com/YinghuiXing/Scarf-DETR。
引用
@article{arxiv.2511.06406,
title = {On Modality Incomplete Infrared-Visible Object Detection: An Architecture Compatibility Perspective},
author = {Shuo Yang and Yinghui Xing and Shizhou Zhang and Zhilong Niu},
journal= {arXiv preprint arXiv:2511.06406},
year = {2025}
}