仅由 6 自由度相机位姿通过两阶段网络进行新视角合成
计算机视觉与模式识别
2020-10-23 v1
摘要
新视角合成是计算机视觉与机器人学中的一个挑战性问题。与现有需要场景参考图像或 3D 模型来生成新视角下图像的工作不同,我们提出了一种该问题的新范式。即,我们仅直接从 6-DoF 相机位姿合成新视角。尽管此设定是最直接的方式,但极少有工作予以解决。而我们的实验表明,借助简洁的 CNN,我们可以得到一个有意义的参数化模型,仅从 6-DoF 位姿即可重建出正确的场景图像。为此,我们提出一种两阶段学习策略,由两个连续的 CNN 组成:GenNet 和 RefineNet。GenNet 从相机位姿生成粗图像。RefineNet 是一个生成对抗网络,对粗图像进行细化。通过这种方式,我们将映射的几何关系与纹理细节渲染解耦。在公开数据集上的大量实验证明了我们方法的有效性。我们相信该范式具有高的研究与实用价值,并可能成为新视角合成的一个重要方向。
引用
@article{arxiv.2010.11468,
title = {Novel View Synthesis from only a 6-DoF Camera Pose by Two-stage Networks},
author = {Xiang Guo and Bo Li and Yuchao Dai and Tongxin Zhang and Hui Deng},
journal= {arXiv preprint arXiv:2010.11468},
year = {2020}
}
备注
Accepted by International Conference on Pattern Recognition (ICPR 2020)