physfusion: A Transformer-based Dual-Stream Radar and Vision Fusion Framework for Open Water Surface Object Detection
计算机视觉与模式识别
2026-03-03 v1 人工智能
摘要
检测Unmanned Surface Vehicles(USVs)的水面目标由于波浪杂波、镜面反射以及长距离观测中的弱表征线索而具有挑战性。虽然4D毫米波雷达在恶化照明条件下可补充摄像机，但海事雷达点云稀疏且不规则，反射率属性在散射和多径传输下呈现重尾分布，导致传统融合设计难以有效利用雷达线索。我们提出PhysFusion，一个面向水面感知的物理信息雷达-图像检测框架。该框架集成了：(1)一个物理信息雷达编码器(PIR编码器)，包括RCS映射器和质量门控，将每个雷达点属性转化为紧凑的散射先验，并预测点-wise可靠性，以实现在杂波下的稳健特征学习；(2)一个雷达引导的交互式融合模块(RIFM)，在语义丰富的雷达特征与多尺度视觉特征之间进行查询级别的雷达-图像融合，雷达分支采用包括基于点的局部流和基于Transformer的全局流，采用散射感知自注意力(SASA)；(3)一个时序查询聚合模块(TQA)，在短时序窗口内聚合帧级融合查询，以实现时序一致的表示。在WaterScenes和FLOW数据集上进行的实验表明，PhysFusion在WaterScenes(T=5雷达历史)上实现了59.7%的mAP50:95和90.3%的mAP50，使用5.6M参数和12.5G FLOPs；在FLOW数据集上实现了94.8%的mAP50和46.2%的mAP50:95。消融实验量化了PIR编码器、SASA-based全局推理和RIFM的贡献。
关键词
引用
@article{arxiv.2603.01947,
title = {physfusion: A Transformer-based Dual-Stream Radar and Vision Fusion Framework for Open Water Surface Object Detection},
author = {Yuting Wan and Liguo Sun and Jiuwu Hao and Zao Zhang and Pin LV},
journal= {arXiv preprint arXiv:2603.01947},
year = {2026}
}