中文

Raster2Seq:用于平面图重建的多边形序列生成

计算机视觉与模式识别 2026-05-12 v2

摘要

从 rasterized 平面图图像重建结构化向量图表示通常是涉及平面图的计算任务(如自动理解或 CAD 工作流程)的重要前提。然而,现有技术在忠实地生成复杂平面图所传递的结构和语义方面存在挑战,这些平面图描绘了大型室内空间,包含大量房间和可变数量的多边形顶点。为此,我们提出了 Raster2Seq,将平面图重建定义为序列到序列任务,其中平面图元素(如房间、窗户和门)被表示为带标签的多边形序列,以联合编码几何和语义信息。我们的方法引入了自回归解码器,通过学习图像特征和已生成的顶点来预测下一个顶点,并借助可学习的锚点提供指导。这些锚点代表图像空间中的空间坐标,从而允许有效地将注意力机制引导到具有信息量的图像区域。通过采用自回归机制,我们的方法在输出格式上具有灵活性,能够高效处理包含大量房间和多样化多边形结构的复杂平面图。我们的方法在标准基准(如 Structure3D、CubiCasa5K 和 Raster2Graph)上实现了最先进的性能,同时也在包含多样化房间结构和复杂几何变体的更具挑战性的数据集(如 WAFFLE)上表现出强大的泛化能力。

关键词

引用

@article{arxiv.2602.09016,
  title  = {Raster2Seq: Polygon Sequence Generation for Floorplan Reconstruction},
  author = {Hao Phung and Hadar Averbuch-Elor},
  journal= {arXiv preprint arXiv:2602.09016},
  year   = {2026}
}

备注

Accepted to SIGGRAPH 2026. Project page: https://cornell-vailab.github.io/Raster2Seq/