SAR2Struct: 从单视图 SAR 图像中提取飞机目标的 3D 语义结构表示

将合成孔径雷达 (SAR) 图像转化为人类可理解的形式是 SAR 高级信息检索的最终目标。现有方法主要关注 3D 表面重建或局部几何特征提取，忽略了结构建模在捕获语义信息中的作用。本文提出了一种新任务：SAR 目标结构恢复，即旨在从单视图 SAR 图像推断目标组件及其之间的结构关系（具体为对称性和邻接性）。通过学习同一类型目标在不同 SAR 图像中所观察到的结构一致性和几何多样性，以直接从其 2D SAR 图像中推导目标的语义表示。为解决这一具有挑战性的任务，本文开发了基于结构描述符的两步算法框架。具体而言，在训练阶段，首先从实际 SAR 图像中检测 2D 关键点，然后学习将这些关键点映射到 3D 层次结构的函数，这些映射关系使用仿真数据学习。在测试阶段，将这两个步骤集成以从实际 SAR 图像中推断 3D 结构。实验结果验证了每个步骤的有效性，并首次证明了从单视图 SAR 图像中可直接推导出飞机目标的 3D 语义结构表示。