ThermRad：用于恶劣条件下鲁棒三维目标检测的多模态数据集
计算机视觉与模式识别
2023-09-13 v3
摘要
在极端天气与光照条件下实现鲁棒的三维目标检测是一项具有挑战性的任务。尽管雷达与热像仪以对这些条件的适应能力而闻名，但由于缺乏相应数据集，关于雷达-热成像融合的研究甚少。为弥补这一空白，我们首先提出一个名为 ThermRad 的新多模态数据集，其包含一台 3D LiDAR、一台 4D 雷达、一台 RGB 相机与一台热像仪。该数据集的独特之处在于其在极端天气条件下同时采集了全部四种传感器的数据，为该领域的未来研究提供了宝贵资源。为验证 4D 雷达与热像仪在恶劣天气条件下进行三维目标检测的鲁棒性，我们提出一种名为 RTDF-RCNN 的新多模态融合方法，其利用 4D 雷达与热像仪的互补优势来提升目标检测性能。为进一步证明我们所提框架的有效性，我们在该数据集上重新实现了当前最优（SOTA）的三维检测器作为评估基准。我们的方法在检测汽车、行人与骑行者方面分别取得超过 7.98%、24.27% 与 27.15% 的显著提升，同时取得了与基于 LiDAR 的方法相当的结果。我们在 ThermRad 数据集与新多模态融合方法两方面的贡献，为恶劣天气与光照条件下的鲁棒三维目标检测提供了新途径。ThermRad 数据集将公开发布。
引用
@article{arxiv.2308.10161,
title = {ThermRad: A Multi-modal Dataset for Robust 3D Object Detection under Challenging Conditions},
author = {Qiao Yan and Yihan Wang},
journal= {arXiv preprint arXiv:2308.10161},
year = {2023}
}
备注
At this time, we have not reached a definitive agreement regarding the ownership and copyright of this dataset. Due to the unresolved issue regarding the dataset, I am writing to formally request the withdrawal of our paper