RoIPoly：基于顶点和逻辑嵌入的矢量化建筑轮廓提取
计算机视觉与模式识别
2024-07-23 v1
摘要
多边形建筑轮廓是地理和制图应用中的关键元素。现有方法通常将轮廓提取分解为子任务（如建筑遮罩和矢量化），或将其视为有序顶点序列的序列到序列预测。前者效率低下，后者常生成冗余顶点，均导致性能 suboptimal。为解决此问题，我们提出了一种基于区域查询 (RoI) 的新方法，称为 RoIPoly。具体而言，我们将每个顶点建模为查询，并约束查询注意力聚焦于潜在建筑的最相关区域，从而降低计算开销并提高顶点级交互效率。此外，我们引入可学习的逻辑嵌入以促进注意力图上的顶点分类；因此，无需后处理即可消除冗余顶点。我们在 CrowdAI 矢量化建筑轮廓数据集和 Structured3D 2D 平面图重建数据集上进行评估。在 CrowdAI 数据集上，采用 ResNet50 主干网络的 RoIPoly 在大多数 MS-COCO 指标上超越了具有相同或更好主干网络的现有方法，尤其在小建筑方面表现突出，且在多边形质量和顶点冗余度方面达到竞争水平，无需任何后处理。在 Structured3D 数据集上，我们的方法在大多数指标上成绩位列现有专注于 2D 平面图重建的方法中的第二名，展示了我们的跨域泛化能力。本文接受后将公开代码。
引用
@article{arxiv.2407.14920,
title = {RoIPoly: Vectorized Building Outline Extraction Using Vertex and Logit Embeddings},
author = {Weiqin Jiao and Hao Cheng and Claudio Persello and George Vosselman},
journal= {arXiv preprint arXiv:2407.14920},
year = {2024}
}