面向可变照明条件下自主跟踪的自适应多光谱炮塔系统评估
计算机视觉与模式识别
2025-12-30 v1 机器学习
机器人学
摘要
自动化机器人平台正在跨越紧急服务领域，支持灾后搜救和侦察等任务。然而，传统的红绿蓝（RGB）检测管线在低光环境下表现不佳，热成像系统缺乏颜色和纹理信息。为克服这些限制，我们提出一种自适应框架，通过多种融合比例融合 RGB 和长波红外（LWIR）视频流，动态选择最佳检测模型以适应不同照明条件。我们在超过 2.2 万张标注图像上训练 33 个 You Only Look Once（YOLO）模型，涵盖三个光照水平：无光（<10 lux）、昏光（10-1000 lux）和满光（>1000 lux）。为整合两种模态，采用 11 种融合比例（从 100/0 的全 RGB 到 0/100 的全 LWIR，以 10% 为间隔）进行帧级融合。评估结果显示，最佳满光模型（80/20 RGB-LWIR）和昏光模型（90/10 融合）分别达到 92.8% 和 92.0% 的平均置信度；两者显著优于 YOLOv5 纳米（YOLOv5n）和 YOLOv11 纳米（YOLOv11n）基线。在无光条件下，Top 40/60 融合达到 71.0%，超越基线虽未达统计显著性。自适应 RGB-LWIR 融合在所有照明条件下提升了检测置信度和可靠性，增强了自动化机器人视觉性能。
关键词
引用
@article{arxiv.2512.22263,
title = {Evaluating an Adaptive Multispectral Turret System for Autonomous Tracking Across Variable Illumination Conditions},
author = {Aahan Sachdeva and Dhanvinkumar Ganeshkumar and James E. Gallagher and Tyler Treat and Edward J. Oughton},
journal= {arXiv preprint arXiv:2512.22263},
year = {2025}
}