多视立体建筑的三维实例分割

我们提出了一种针对城市场景中多视立体（MVS）建筑的新型三维实例分割框架。与现有聚焦于城市场景语义分割的工作不同，本工作的重点在于检测和分割三维建筑实例，即使它们附着并嵌入在一个庞大且不精确的的三维表面模型中。首先通过将高度图叠加到多视RGB图像上增强为RGBH图像，并使用微调的二维实例分割神经网络分割以获得所有屋顶实例。随后将来自不同多视图像的实例掩码聚类为全局掩码。我们的掩码聚类考虑了空间遮挡与重叠，可消除多视图像间的分割歧义。基于这些全局掩码，通过掩码反投影分割出三维屋顶实例，并借助马尔可夫随机场优化将其扩展至整个建筑实例。我们提供了一个新数据集，包含三维城市场景（屋顶与建筑）和无人机图像（屋顶）的实例级标注。据我们所知，这是首个专用于三维实例分割的室外数据集，其附着三维建筑的标注量远超现有数据集。定量评估与消融实验表明了各主要步骤的有效性，以及我们的多视框架相对于基于正射影像方法的优势。