融合遇及多样条件：面向无人机基于UAV的多模态目标检测的高多样性基准与基线
计算机视觉与模式识别
2025-10-16 v1
摘要
无人机（UAV）基于可见（RGB）和红外（IR）图像的对象检测有助于实现全天候稳健检测，这得益于深度学习技术的进步以及高质量数据集的可用性。然而，现有数据集难以充分捕捉现实世界的复杂性，因为成像条件有限。为此，我们引入了覆盖多种场景的高多样性数据集ATR-UMOD，涵盖高度从80米到300米、角度从0度到75度，以及丰富天气和照明条件下的全天全年时间变化。此外，每对RGB-IR图像对都标注了6个条件属性，提供了有价值的高层次上下文信息。为应对此类多样条件，我们提出了一种新颖的受提示引导的条件感知动态融合方法（PCDF），通过利用标注的条件线索自适应重新分配多模态贡献。通过将成像条件编码为文本提示，PCDF有效地通过任务特定的软门控变换来建模条件与多模态贡献之间的关系。受提示驱动的条件解耦模块进一步确保在无需条件标注的情况下也能实际应用。在ATR-UMOD数据集上的实验表明，PCDF的有效性。
引用
@article{arxiv.2510.13620,
title = {Fusion Meets Diverse Conditions: A High-diversity Benchmark and Baseline for UAV-based Multimodal Object Detection with Condition Cues},
author = {Chen Chen and Kangcheng Bin and Ting Hu and Jiahao Qi and Xingyue Liu and Tianpeng Liu and Zhen Liu and Yongxiang Liu and Ping Zhong},
journal= {arXiv preprint arXiv:2510.13620},
year = {2025}
}