Sim2Radar：基于VLM引导的雷达仿真-真实桥接
计算机视觉与模式识别
2026-02-25 v3 人工智能
摘要
毫米波（mmWave）雷达在视觉受损的室内环境（如烟雾、粉尘和低光条件）中提供可靠感知，但基于学习的雷达感知因稀缺和高昂的大规模雷达数据集采集与标注成本而受限。我们提出Sim2Radar，一个从单视图RGB图像直接合成训练雷达数据的端到端框架，实现可扩展的数据生成，无需手动场景建模。Sim2Radar通过结合单目深度估计、分割和视觉语言推理来重建材料感知的3D场景，以推断物体材料，然后利用以ITU-R电磁属性为参数化的菲涅尔反射模型进行可配置的物理基准射线追踪模拟。经真实室内场景评估，Sim2Radar通过迁移学习提升下游3D雷达感知：以合成数据预训练雷达点云目标检测模型，再在真实雷达数据上微调，可实现最高+3.7的3D AP（IoU 0.3），提升主要来自空间定位改进。这些结果表明，物理驱动的视觉雷达仿真可为雷达学习提供有效的几何先验，并在有限真实数据监督下显著提升性能。
引用
@article{arxiv.2602.13314,
title = {Sim2Radar: Toward Bridging the Radar Sim-to-Real Gap with VLM-Guided Scene Reconstruction},
author = {Emily Bejerano and Federico Tondolo and Ayaan Qayyum and Xiaofan Yu and Xiaofan Jiang},
journal= {arXiv preprint arXiv:2602.13314},
year = {2026}
}