Seg2Reg：面向360度房间布局重建的可微2D分割到1D回归渲染
计算机视觉与模式识别
2023-12-01 v1 机器学习
摘要
最先进的单视图360度房间布局重建方法将该问题表述为高层1D（逐列）回归任务。另一方面，传统的低层2D布局分割更易于学习且能表示被遮挡区域，但需针对目标布局多边形进行复杂后处理并牺牲精度。我们提出Seg2Reg，以可微且遮挡感知的方式从2D分割图渲染1D布局深度回归，兼具双方优点。具体而言，我们的模型为输入的等距柱状360度图像预测平面图密度。将2D布局表示表述为密度场，使我们能够采用“展平”体渲染来形成1D布局深度回归。此外，我们提出一种新颖的布局3D扭曲增强以提升泛化能力。最后，我们将近期房间布局重建方法重新实现于我们的代码库中以进行基准测试，并探索现代骨干网络与训练技术以作为强基线。我们的模型显著优于以往方法。代码将在发表后公开。
引用
@article{arxiv.2311.18695,
title = {Seg2Reg: Differentiable 2D Segmentation to 1D Regression Rendering for 360 Room Layout Reconstruction},
author = {Cheng Sun and Wei-En Tai and Yu-Lin Shih and Kuan-Wei Chen and Yong-Jing Syu and Kent Selwyn The and Yu-Chiang Frank Wang and Hwann-Tzong Chen},
journal= {arXiv preprint arXiv:2311.18695},
year = {2023}
}