HiRes-FusedMIM：面向建筑级遥感应用的高分辨率RGB-DSM预训练模型
计算机视觉与模式识别
2025-03-25 v1 人工智能
摘要
自监督学习的最新进展推动了基础模型的发展，显著提升了各种计算机视觉任务的性能。然而，尽管这些模型潜力巨大，它们往往忽视了高分辨率数字表面模型（DSM）在理解城市环境中的关键作用，特别是对于建筑级分析，而这对数字孪生等应用至关重要。为填补这一空白，我们提出了HiRes-FusedMIM，一种专门设计用于利用高分辨率RGB和DSM数据中丰富信息的新型预训练模型。HiRes-FusedMIM采用双编码器简单掩码图像建模（SimMIM）架构，结合重建和对比度目标的多目标损失函数，使其能够从两种模态中学习强大的联合表示。我们对HiRes-FusedMIM在一系列下游任务上进行了全面评估，包括分类、语义分割和实例分割。我们的结果表明：1）HiRes-FusedMIM在多个建筑相关数据集（包括WHU Aerial和LoveDA）上优于之前的最新地理空间方法，证明了其在捕获和利用细粒度建筑信息方面的有效性；2）在预训练中纳入DSM始终优于仅使用RGB数据，突出了高程信息对建筑级分析的价值；3）HiRes-FusedMIM的双编码器架构，为RGB和DSM数据分别使用独立编码器，在Vaihingen分割任务上显著优于单编码器模型，表明为每种模态学习专门表示的好处。为了促进这一方向的进一步研究和应用，我们将公开发布训练好的模型权重。
引用
@article{arxiv.2503.18540,
title = {HiRes-FusedMIM: A High-Resolution RGB-DSM Pre-trained Model for Building-Level Remote Sensing Applications},
author = {Guneet Mutreja and Philipp Schuegraf and Ksenia Bittner},
journal= {arXiv preprint arXiv:2503.18540},
year = {2025}
}