MVLayoutNet：基于多视图全景图的3D布局重建
计算机视觉与模式识别
2021-12-14 v1
摘要
我们提出MVLayoutNet，一种用于从多视图全景图进行整体3D重建的端到端网络。我们的核心贡献在于将习得式的单目布局估计与多视图立体（MVS）无缝结合，以在3D与图像空间均实现精确的布局重建。我们联合训练一个布局模块来生成初始布局，以及一个新颖的MVS模块来获取精确的布局几何。不同于标准MVSNet [33]，我们的MVS模块采用新提出的布局代价体，其将同一深度层上的多视图代价聚合至相应的布局元素中。我们额外提供了一种基于注意力的方案，引导MVS模块聚焦于结构区域。该设计同时考虑了局部像素级代价与全局整体信息，以获得更好的重建效果。实验表明，在2D-3D-S [1]与ZInD [5]数据集上，我们的方法在深度rmse指标上分别以21.7%和20.6%的优势超越SOTA。最终，我们的方法可得出连贯的布局几何，从而支持整个场景的重建。
引用
@article{arxiv.2112.06133,
title = {MVLayoutNet:3D layout reconstruction with multi-view panoramas},
author = {Zhihua Hu and Bo Duan and Yanfeng Zhang and Mingwei Sun and Jingwei Huang},
journal= {arXiv preprint arXiv:2112.06133},
year = {2021}
}