FUTR3D：一种用于3D检测的统一传感器融合框架
计算机视觉与模式识别
2023-04-18 v2
摘要
传感器融合是众多感知系统（如自动驾驶与机器人）中的重要课题。现有的多模态3D检测模型通常涉及依赖于传感器组合或设置的定制设计。本工作中，我们提出首个用于3D检测的统一端到端传感器融合框架FUTR3D，其可用于（几乎）任意传感器配置。FUTR3D采用基于查询的模态无关特征采样器（MAFS），连同带集合到集合损失的Transformer解码器进行3D检测，从而避免使用后融合启发式方法与后处理技巧。我们在相机、低分辨率LiDAR、高分辨率LiDAR与雷达的各种组合上验证了框架的有效性。在NuScenes数据集上，FUTR3D在不同传感器组合下均取得优于专门设计方法的性能。此外，FUTR3D在不同传感器配置下具有极大灵活性，并赋能低成本自动驾驶。例如，仅使用4线LiDAR与相机，FUTR3D（58.0 mAP）取得了与使用32线LiDAR的SOTA 3D检测模型CenterPoint（56.6 mAP）相当的性能。
引用
@article{arxiv.2203.10642,
title = {FUTR3D: A Unified Sensor Fusion Framework for 3D Detection},
author = {Xuanyao Chen and Tianyuan Zhang and Yue Wang and Yilun Wang and Hang Zhao},
journal= {arXiv preprint arXiv:2203.10642},
year = {2023}
}