基于外观流的视图合成
计算机视觉与模式识别
2017-02-14 v3
摘要
我们处理新视图合成问题：给定一张输入图像，合成从任意视点观察到的同一物体或场景的新图像。我们将此视为一个学习任务，但关键的是，我们不是从零开始学习合成像素，而是学习从输入图像中复制它们。我们的方法利用了这样一个观察：同一实例的不同视图的视觉外观高度相关，并且这种相关性可以通过训练卷积神经网络（CNN）预测外观流——指定输入视图中哪些像素可用于重建目标视图的二维坐标向量——来显式地学习。此外，所提出的框架通过学习如何最优地组合单视图预测，很容易推广到多个输入视图。我们证明，无论是对于物体还是场景，我们的方法都能合成出感知质量高于以往基于 CNN 技术的新视图。
引用
@article{arxiv.1605.03557,
title = {View Synthesis by Appearance Flow},
author = {Tinghui Zhou and Shubham Tulsiani and Weilun Sun and Jitendra Malik and Alexei A. Efros},
journal= {arXiv preprint arXiv:1605.03557},
year = {2017}
}