基于布局引导的单张室内全景图新视角合成
计算机视觉与模式识别
2021-04-01 v1
摘要
现有的视角合成方法主要关注透视图像并已展现出有前景的结果。然而,由于针孔相机视场有限,当采用大幅相机运动时性能迅速下降。本文首次尝试从单张室内全景图生成新视角,并考虑大幅相机平移。为应对这一挑战性问题,我们首先使用卷积神经网络(CNNs)从源视角图像提取深度特征并估计深度图。然后,我们利用房间布局先验——室内场景的强结构约束——来引导目标视角的生成。更具体地,我们估计源视角中的房间布局并将其变换到目标视点作为引导。同时,我们还约束所生成目标视角图像的房间布局以强制几何一致性。为验证方法有效性,我们进一步构建了一个包含小幅与大幅相机平移的大规模照片级真实数据集。在我们这一具挑战性数据集上的实验结果表明,我们的方法达到了最先进性能。项目页面位于 https://github.com/bluestyle97/PNVS。
引用
@article{arxiv.2103.17022,
title = {Layout-Guided Novel View Synthesis from a Single Indoor Panorama},
author = {Jiale Xu and Jia Zheng and Yanyu Xu and Rui Tang and Shenghua Gao},
journal= {arXiv preprint arXiv:2103.17022},
year = {2021}
}
备注
To appear in CVPR 2021