3D Dual-Fusion：用于 3D 目标检测的双域双查询相机-激光雷达融合
计算机视觉与模式识别
2023-02-17 v2
摘要
融合相机与 LiDAR 传感器数据是实现鲁棒 3D 目标检测的关键技术。相机-激光雷达融合的一个主要挑战在于，在融合特征时缓解两传感器在坐标与数据分布上的巨大域差距。本文提出一种名为 3D Dual-Fusion 的新型相机-激光雷达融合架构，旨在缩小相机与 LiDAR 数据特征表示间的差距。所提方法融合相机视图与 3D 体素视图域的特征，并通过可变形注意力建模其交互。我们重新设计 transformer 融合编码器以聚合两域信息。两大主要改动包括：1）基于双查询的可变形注意力以交互式融合双域特征；2）3D 局部自注意力以在双查询解码前编码体素域查询。实验评估结果表明，所提相机-激光雷达融合架构在 KITTI 与 nuScenes 数据集上取得具竞争力的性能，并在部分 3D 目标检测基准类别中达到最先进性能。
引用
@article{arxiv.2211.13529,
title = {3D Dual-Fusion: Dual-Domain Dual-Query Camera-LiDAR Fusion for 3D Object Detection},
author = {Yecheol Kim and Konyul Park and Minwook Kim and Dongsuk Kum and Jun Won Choi},
journal= {arXiv preprint arXiv:2211.13529},
year = {2023}
}
备注
12 pages, 3 figures