calibfusion：面向水面环境的基于 Transformer 的雷达-相机融合检测可微分标定
计算机视觉与模式识别
2026-03-10 v1 人工智能
摘要
毫米波 (mmWave) 雷达-相机融合可改善恶劉照明和天气条件下的感知能力，但其性能对雷达-相机外参标定高度敏感：残余误差会偏离雷达到图像的投影，并损害下游 2D 检测的跨模态聚合。现有标定和自动标定方法主要为道路和城市场景开发，拥有丰富的结构和目标约束，而水面环境特征大面积无纹理区域、稀疏不连续目标以及波浪/镜面引起的雷达杂波，这削弱了基于显式目标中心匹配的效果。我们提出 CalibFusion，一种标定条件化雷达-相机融合检测器，通过学习内在的外参细化来实现端到端的检测目标。CalibFusion 构建了带强度加权和基于 Doppler 引导抑制快速变化杂波的多帧持久感知雷达密度表示。一个跨模态 Transformer 交互模块预测初始外参的置信度门控细化，并通过可微分的投影-抹平算子集成，以生成标定条件化的图像平面雷达特征。实验在 WaterScenes 和 FLOW 上表明改进了融合式 2D 检测和在合成误标定下的鲁棒性，支持于灵敏度分析和定性雷达到图像叠加图。nuScenes 上的结果表明，这一细化机制可在水面场景之外迁移。
引用
@article{arxiv.2603.06670,
title = {calibfusion: Transformer-Based Differentiable Calibration for Radar-Camera Fusion Detection in Water-Surface Environments},
author = {Yuting Wan and Liguo Sun and Jiuwu Hao and Pin LV},
journal= {arXiv preprint arXiv:2603.06670},
year = {2026}
}