RS3DBench：遥感图像 3D 空间感知综合基准

本文提出了一套新的基准，旨��推动通用、大规模 3D 视觉模型在遥感图像上的发展。虽然已提出多个遥感数据集，但许多现有数据集要么缺乏完整的深度信息，要么未在深度数据和遥感图像之间建立精确对齐。为此，我们提出了一个用于遥感图像 3D 理解的视觉基准，称为 RS3DBench。该数据集包含 54,951 对遥感图像和像素级对齐深度图，伴随相应的文本描述，涵盖广泛的地理背景。它是训练和评估遥感图像空间理解任务中 3D 视觉感知模型的工具。此外，我们引入了一个基于稳定扩散（stable diffusion）的遥感深度估计模型，利用其多模态融合能力，实现了在数据集上的最先进性能。我们的努力旨在为 3D 视觉感知模型的演进和遥感领域地理人工智能的发展作出深远贡献。该数据集、模型和代码可在 https://rs3dbench.github.io 访问获取。