GEM：眩光或昏暗，我仍能看见你——端到端多模态目标检测
计算机视觉与模式识别
2021-06-23 v3 机器人学
摘要
为视觉任务设计的深度神经网络在遭遇训练数据未涵盖的环境条件时往往容易失效。当传感器因故障或自身设计局限而无法获取信息时，单模态策略是不够的。多传感器配置能够提供冗余、提升可靠性，并且对于实现对非对称传感器故障的鲁棒性至关重要。为解决目标检测中光照条件变化与非对称传感器退化的问题，我们开发了一种多模态2D目标检测器，并提出了确定性与随机性的传感器感知特征融合策略。所提出的融合机制由估计得到的传感器测量可靠性值/权重驱动。在恶劣光照条件下进行可靠的目标检测对于自动驾驶车辆、人机交互等应用至关重要。我们还提出了一种用于RGB-D传感器的新的“r-blended”混合深度模态。通过大量实验，我们表明所提策略在FLIR-Thermal数据集上优于现有的state-of-the-art方法，并在SUNRGB-D数据集上取得了有前景的结果。我们还记录了一个新的RGB-Infra室内数据集，即L515-Indoors，并证明所提出的目标检测方法在各种光照条件下都非常有效。
引用
@article{arxiv.2102.12319,
title = {GEM: Glare or Gloom, I Can Still See You -- End-to-End Multimodal Object Detection},
author = {Osama Mazhar and Robert Babuska and Jens Kober},
journal= {arXiv preprint arXiv:2102.12319},
year = {2021}
}
备注
IEEE Robotics and Automation Letters (RA-L)