中文

FloorNet:一种从3D扫描重建平面图的统一框架

计算机视觉与模式识别 2018-04-03 v1

摘要

该室内建图研究的最终目标是通过将智能手机放在口袋中走过房屋来自动重建平面图。本文通过提出FloorNet这一新颖的深度神经架构来解决此问题。挑战在于处理跨越大型3D空间的RGBD流。FloorNet通过三个神经网络分支有效处理数据:1)处理3D点的PointNet,利用3D信息;2)处理俯视视角下2D点密度图像的CNN,增强局部空间推理;3)处理RGB图像的CNN,利用完整图像信息。FloorNet在分支间交换中间特征以利用所有架构的优势。我们通过用Google Tango手机采集155个住宅或公寓的RGBD视频流并标注完整的平面图信息,创建了平面图重建基准。我们的定性和定量评估表明,三个分支的融合有效提升了重建质量。我们希望本文连同该基准将成为解决这一具挑战性的矢量图形重建问题的重要一步。代码和数据可在 https://github.com/art-programmer/FloorNet 获取。

关键词

引用

@article{arxiv.1804.00090,
  title  = {FloorNet: A Unified Framework for Floorplan Reconstruction from 3D Scans},
  author = {Chen Liu and Jiaye Wu and Yasutaka Furukawa},
  journal= {arXiv preprint arXiv:1804.00090},
  year   = {2018}
}