基于深度辅助全分辨率网络的单图像视角合成
计算机视觉与模式识别
2017-11-20 v1
摘要
新颖视点合成的研究主要集中于从多视输入图像进行插值。本文关注一个更具挑战性且不适定的问题，即从单张输入图像合成新颖视点。为实现该目标，我们提出了一种基于深度学习的新技术。我们设计了一个全分辨率网络，以与输入相同的分辨率提取局部图像特征，这有助于生成高分辨率图像并防止最终合成图像中的模糊伪影。我们还将一个预训练的深度估计网络引入系统，从而能够利用3D信息推断输入图像与目标图像之间的流场。由于深度网络由场景中任意点对之间的深度顺序信息训练，全局图像特征也被纳入我们的系统。最后，一个合成层不仅用于将观测像素扭曲至期望位置，还利用已记录像素幻觉出缺失像素。实验表明，我们的技术在多种场景图像上表现良好，并优于当前最先进的技术。
引用
@article{arxiv.1711.06620,
title = {Depth Assisted Full Resolution Network for Single Image-based View Synthesis},
author = {Xiaodong Cun and Feng Xu and Chi-Man Pun and Hao Gao},
journal= {arXiv preprint arXiv:1711.06620},
year = {2017}
}