SAGA：面向多视角无人机与地面视觉系统的语义感知灰度色彩增强
计算机视觉与模式识别
2025-04-23 v1
摘要
领域自适应热成像目标检测在减少RGB图像与热成像（IR）图像配对需求、最小化对大规模标注IR数据集的依赖方面发挥着关键作用。然而，由于IR图像缺乏颜色和纹理线索，RGB训练模型面临挑战，导致误报率增加且伪标签质量较差。为此，我们提出语义感知灰度色彩增强（Semantic-Aware Gray color Augmentation, SAGA），一种新颖策略，通过提取与IR图像相关的对象级特征来缓解颜色偏差并弥合领域差距。此外，为验证SAGA在无人机图像上的有效性，我们引入IndraEye数据集，这是一个面向多样化应用场景的多传感器（RGB-IR）数据集。数据集包含5612张图像，标注了145,666个实例，涵盖多种角度、高度、背景及时间，为多模态学习、目标检测与分割的领域自适应以及传感器特性探索提供了宝贵机会。IndraEye旨在提升空中感知系统在恶劣环境下的鲁棒性与准确性。实验结果表明，SAGA在集成最先进领域自适应技术后，显著提升了RGB到IR的自适应性能，尤其在自动驾驶及IndraEye数据集上实现mAP提升0.4%至7.6%。数据集与代码已公开于https://github.com/airliisc/IndraEye。
引用
@article{arxiv.2504.15728,
title = {SAGA: Semantic-Aware Gray color Augmentation for Visible-to-Thermal Domain Adaptation across Multi-View Drone and Ground-Based Vision Systems},
author = {Manjunath D and Aniruddh Sikdar and Prajwal Gurunath and Sumanth Udupa and Suresh Sundaram},
journal= {arXiv preprint arXiv:2504.15728},
year = {2025}
}
备注
Accepted at CVPR-W PBVS 2025