GPR-Net：基于几何感知全景配准网络的多视角布局估计
计算机视觉与模式识别
2022-10-24 v2
摘要
从多个 全景图重建 3D 布局近来受到越来越多的关注，因为从单张全景图估计大尺度复杂房间的完整布局非常困难。最先进的方法 PSMNet 引入了首个基于学习的框架，在给定一对全景图时联合估计房间布局与配准。然而，PSMNet 依赖近似（即“含噪”）的配准作为输入。获得该输入需要解决宽基线配准问题，这是一个具有挑战性的问题。在本工作中，我们提出一个完整的多视角全景布局估计框架，在给定一对全景图时联合学习全景配准与布局估计，且不依赖位姿先验。相对 PSMNet 的主要改进来自一种新颖的几何感知全景配准网络（GPR-Net），其通过利用布局几何并在布局边界上计算细粒度对应，而非全局像素空间，有效解决宽基线配准问题。我们的架构由两部分组成。首先，给定两幅全景图，我们采用视觉 transformer 学习一组在全景图上采样的一维地平线特征。这些一维地平线特征编码了各个布局边界样本的深度以及布局边界间的对应与共视地图。随后我们利用非线性配准模块将这些一维地平线特征转换为布局上的一组对应二维边界点。最后，我们通过 RANSAC 估计最终的相对相机位姿，并通过取已配准布局的并集获得完整布局。实验结果表明，我们的方法在大规模室内全景数据集 ZInD 上的全景配准与布局估计均达到最先进性能。
引用
@article{arxiv.2210.11419,
title = {GPR-Net: Multi-view Layout Estimation via a Geometry-aware Panorama Registration Network},
author = {Jheng-Wei Su and Chi-Han Peng and Peter Wonka and Hung-Kuo Chu},
journal= {arXiv preprint arXiv:2210.11419},
year = {2022}
}