基于多级监督的单目遥感图像三维建筑重建

从单目遥感图像进行三维建筑重建是一个重要且具有挑战性的研究问题，近年来因其数据采集成本低且适用于大规模应用而受到越来越多的关注。然而，现有方法依赖昂贵的三维标注样本进行全监督训练，限制了其在大规模跨城市场景中的应用。在这项工作中，我们提出了MLS-BRN，一种多级监督的建筑重建网络，可以灵活利用不同标注级别的训练样本，以端到端的方式获得更好的重建结果。为了减轻对全三维监督的需求，我们设计了两个新模块：伪建筑边界框计算器和屋顶偏移引导的足迹提取器，以及针对不同类型样本的新任务和训练策略。在多个公开和新数据集上的实验结果表明，我们提出的MLS-BRN使用更少的三维标注样本即可达到有竞争力的性能，并且在足迹提取和三维重建性能上显著优于当前最先进方法。本工作的代码和数据集将在https://github.com/opendatalab/MLS-BRN.git发布。