HRFuser：一种用于 2D 目标检测的多分辨率传感器融合架构
计算机视觉与模式识别
2023-08-14 v3 机器学习
摘要
除标准相机外，自动驾驶车辆通常包含多个额外传感器，如 lidar 与 radar，有助于获取更丰富信息以感知驾驶场景内容。尽管近期若干工作聚焦于通过使用针对所考察设置特定的架构组件来融合某些传感器对——如相机与 lidar 或 radar——但文献中仍缺乏一种通用且模块化的传感器融合架构。本工作中，我们提出 HRFuser，一种用于多模态 2D 目标检测的模块化架构。它以多分辨率方式融合多个传感器，并可扩展至任意数量的输入模态。HRFuser 的设计基于最先进的仅图像稠密预测高分辨率网络，并引入一种新颖的多窗口交叉注意力模块作为在多分辨率下融合多模态的手段。我们通过 nuScenes 与恶劣条件 DENSE 数据集上的大量实验证明，我们的模型有效利用了来自额外模态的互补特征，大幅改进仅相机性能，并持续优于在 2D 目标检测指标上评估的最先进 3D 与 2D 融合方法。源代码已公开可用。
引用
@article{arxiv.2206.15157,
title = {HRFuser: A Multi-resolution Sensor Fusion Architecture for 2D Object Detection},
author = {Tim Broedermann and Christos Sakaridis and Dengxin Dai and Luc Van Gool},
journal= {arXiv preprint arXiv:2206.15157},
year = {2023}
}
备注
IEEE International Conference on Intelligent Transportation Systems (ITSC) 2023