用于单图像新视角合成的认知几何深度网络
计算机视觉与模式识别
2018-04-18 v1
摘要
本文解决从单幅图像进行新视角合成的问题。具体而言，我们面向具有丰富几何结构的真实场景，由于此类场景外观变化大且缺乏简单的 3D 模型来表示它们，这是一项具有挑战性的任务。现代的基于学习的方法大多关注外观来合成新视角，因此往往生成与底层场景结构不一致的预测。相比之下，本文中我们提出利用场景的 3D 几何来合成新视角。具体地，我们用固定数量的平面来近似真实场景，并学习预测一组单应矩阵及其对应的区域掩码，以将输入图像变换为新视角。为此，我们开发了一种新的区域感知几何变换网络，在统一框架中执行这些多项任务。我们在室外 KITTI 和室内 ScanNet 数据集上的结果证明了我们的网络在生成尊重场景几何的高质量合成视角方面的有效性，从而优于当前最优方法。
引用
@article{arxiv.1804.06008,
title = {Geometry-aware Deep Network for Single-Image Novel View Synthesis},
author = {Miaomiao Liu and Xuming He and Mathieu Salzmann},
journal= {arXiv preprint arXiv:1804.06008},
year = {2018}
}
备注
CVPR 2018