SynRS3D：用于单视角遥感图像的全局 3D 语义理解的合成数据集
计算机视觉与模式识别
2024-09-30 v2
摘要
从单视图高分辨率遥感 (RS) 图像进行全局语义 3D 解释是地球观测 (EO) 中的关键任务。然而，该任务面临标注成本高、数据收集困难以及地理位置受限等显著挑战。为了应对这些挑战，合成数据作为一种易于获取的解决方案，能够提供大规模且多样化的数据集。我们开发了专为 EO 设计的合成数据生成管道，介绍 SynRS3D——最大的合成 RS 3D 数据集。SynRS3D 包含 69,667 张高分辨率光学图像，覆盖全球六种不同城市风格，包含八种土地覆盖类型、精确的高度信息和建筑变更掩码。为进一步提升其实用性，我们开发了一种新型多任务无监督域适应 (UDA) 方法 RS3DAda，并结合我们的合成数据集，实现了从合成到真实场景的 RS 特定转换，支持土地覆盖分类和高度估计任务，从而实现基于合成数据的全局单视角 3D 语义理解。在 various 真实世界数据集上的大量实验表明，我们的合成数据集和提出的 RS3DAda 方法具有良好的适应性和效果。SynRS3D 和相关代码将公开提供。
引用
@article{arxiv.2406.18151,
title = {SynRS3D: A Synthetic Dataset for Global 3D Semantic Understanding from Monocular Remote Sensing Imagery},
author = {Jian Song and Hongruixuan Chen and Weihao Xuan and Junshi Xia and Naoto Yokoya},
journal= {arXiv preprint arXiv:2406.18151},
year = {2024}
}
备注
Accepted at NeurIPS 2024 as a Spotlight