基于深度学习的稀疏3D SAR 图像车辆目标的跨模态重建
计算机视觉与模式识别
2025-09-12 v7 图像与视频处理
摘要
三维合成孔径雷达(3D SAR)是一种广泛用于遥感领域的高级主动微波成像技术。为实现高分辨率3D成像，3D SAR需要从围绕目标的多个方位和高度基线进行观测。然而，受限的飞行轨迹常导致稀疏观测，这会降低成像质量，尤其是对于 Anisotropic 小目标，如车辆和飞机。以往采用压缩感知(CS)作为稀疏3D SAR 图像重建的主流方法。更近期，深度学习(DL)作为强大的替代方案，显著提升了重建质量和效率。然而，现有基于DL的方法通常仅依赖高质量3D SAR 图像作为监督信号来训练深度神经网络(DNN)，这种单模态学习范式阻碍了来自其他数据模态的互补信息的融合，限制了重建性能，由于电磁散射的内在约束，还会降低目标的辨识度。在本文中，我们引入跨模态学习，提出一种用于增强稀疏3D SAR 车辆图像的跨模态3D-SAR 重建网络(CMAR-Net)，通过融合光学信息来实现稀疏3D SAR 图像的重建。利用来自2D光学图像的跨模态监督和由可微分渲染保证的误差传播，CMAR-Net 实现了高效训练，并将稀疏3D SAR 图像——这些图像源自高度稀疏-视角观测——重建为结构清晰的3D车辆图像。仅使用模拟数据训练的CMAR-Net 对真实数据具有鲁健的泛化能力，在涉及众多民用车辆的大规模停车场实验中超越了最新SOTA的CS和DL 方法，在结构精度方面表现出色，从而展示了其强大的实际应用前景。
引用
@article{arxiv.2406.04158,
title = {Deep Learning-based Cross-modal Reconstruction of Vehicle Target from Sparse 3D SAR Image},
author = {Da Li and Guoqiang Zhao and Chen Yao and Kaiqiang Zhu and Houjun Sun and Jiacheng Bao and Maokun Li},
journal= {arXiv preprint arXiv:2406.04158},
year = {2025}
}
备注
This work has been submitted to the IEEE for possible publication