从单张卫星图像进行屋顶分块的 3D 检测及其在 LOD2 建筑重建中的应用
计算机视觉与模式识别
2023-07-12 v1 天体物理仪器与方法
人工智能
摘要
从卫星栅格图像中三维重建城市区域一直是学术与工业界长期且具有挑战性的目标。当今少数能以 2 级细节层次（Level Of Details ）实现该目标的方法依赖于基于几何的过程式方法，且需要立体图像和/或 LIDAR 数据作为输入。我们在此提出一种名为 KIBS（\textit{Keypoints Inference By Segmentation}，基于分割的关键点推断）的城市三维重建方法，其包含两个新颖特性：i) 用于屋顶分块三维检测的全深度学习方案，以及 ii) 仅以单张（非正交）卫星栅格图像作为模型输入。这通过两步实现：i) 由 Mask R-CNN 模型对建筑屋顶分块进行二维分割，并将这些分割像素融入 RGB 卫星栅格图像；ii) 由另一个相同的 Mask R-CNN 模型通过全景分割推断屋顶分块角点至地面的高度，直至完成建筑与城市的完整三维重建。我们以在几分钟内重建不同城市区域展示了 KIBS 方法的潜力，在两个数据集上单个屋顶分块的二维分割 Jaccard 指数分别为 和 ，三维重建中这些正确分割像素的高度平均误差分别为 m 和 m，因而处于 LOD2 精度范围内。
引用
@article{arxiv.2307.05409,
title = {3D detection of roof sections from a single satellite image and application to LOD2-building reconstruction},
author = {Johann Lussange and Mulin Yu and Yuliya Tarabalka and Florent Lafarge},
journal= {arXiv preprint arXiv:2307.05409},
year = {2023}
}