用于新视角 3D 合成的变换奠基图像生成网络
计算机视觉与模式识别
2017-03-09 v1
摘要
我们提出了一种用于从单图像进行新视角 3D 合成的变换奠基图像生成网络。我们不采用“白板”方法，而是首先显式推断在输入视图和新视图中均可见的几何部分，然后将剩余的合成问题重新转化为图像补全。具体而言，我们预测一个流以将像素从输入视图移动到新视图，同时预测一个新的可见性图，以帮助处理遮挡/去遮挡。接下来，以这些中间结果为条件，我们幻觉（推断）出输入图像中不可见的物体部分。除了新的网络结构外，结合对抗损失和感知损失进行训练，减少了新视角合成中常见的伪影（如扭曲和孔洞），同时成功生成了高频细节并保留了输入图像的视觉特征。我们在广泛的合成和真实样本上评估了我们的方法。定性和定量结果均表明，与现有方法相比，我们的方法取得了显著更好的结果。
引用
@article{arxiv.1703.02921,
title = {Transformation-Grounded Image Generation Network for Novel 3D View Synthesis},
author = {Eunbyung Park and Jimei Yang and Ersin Yumer and Duygu Ceylan and Alexander C. Berg},
journal= {arXiv preprint arXiv:1703.02921},
year = {2017}
}
备注
To appear in CVPR 2017