基于Transformer的跨层级目标列表融合用于3D目标检测
计算机视觉与模式识别
2026-01-27 v2 机器人学
摘要
在汽车传感器融合系统中，智能传感器和车联万物（V2X）模块被广泛使用。这些系统的传感器数据通常仅以经过处理的目标列表形式提供，而非传统传感器的原始数据。我们提出了一种基于Transformer的端到端跨层级融合概念，将高度抽象的目标列表信息与原始相机图像相结合，用于3D目标检测。目标列表作为去噪查询输入Transformer，并与可学习查询一同通过特征聚合过程传播。此外，从目标列表的位置和尺寸先验导出的可变形高斯掩码被显式集成到Transformer解码器中，引导注意力聚焦于目标区域并加速模型训练收敛。此外，由于缺乏包含目标列表作为独立模态的公共数据集，我们提出了一种通过模拟状态噪声和假阳性/假阴性从真实边界框生成伪目标列表的方法。作为首个开展跨层级融合的工作，本方法在nuScenes数据集上相比视觉基线实现了显著的性能提升，并展示了其在模拟目标列表不同噪声水平和真实检测器上的泛化能力。
引用
@article{arxiv.2512.12884,
title = {Cross-Level Sensor Fusion with Object Lists via Transformer for 3D Object Detection},
author = {Xiangzhong Liu and Jiajie Zhang and Hao Shen},
journal= {arXiv preprint arXiv:2512.12884},
year = {2026}
}
备注
6 pages, 3 figures, accepted at IV2025