用于远距离深度成像的混合毫米波与相机系统

毫米波雷达因其高带宽，即使在极远距离也能提供出色的深度分辨率。但其角分辨率至少比相机和激光雷达系统差一个数量级。因此，毫米波雷达单独使用并非可行的三维成像方案。我们提出 Metamoran，一种结合雷达与相机互补优势的系统，可从单一固定视角获取远距离、高精度深度图像，即使在强杂波环境中亦可。Metamoran 实现了丰富的远距离深度成像，可应用于安防监控、路边安全基础设施与广域制图。我们的方法利用计算机视觉技术（包括图像分割与单目深度估计）从相机获取高角分辨率，从而得到物体形状。我们的核心贡献是一种将该物体形状转换为射频 I/Q 等效信号的方法，并将其用于新颖的雷达处理流水线，以帮助去除场景杂波并捕获远距离物体极微弱反射。我们在 400 个多样化场景中对 Metamoran 的深度成像能力进行了详细评估。评估表明，Metamoran 对静态物体的深度估计可达 90 m，对运动物体可达 305 m，中位误差为 28 cm，相比朴素的雷达+相机基线提升 13$\times$，相比单目深度估计提升 23$\times$。