从单幅图像生成物体的新视角
计算机视觉与模式识别
2016-08-16 v2 图形学
摘要
拍摄物体图像本质上是一个有损过程。关于世界三维结构的丰富信息被平铺到图像平面，而视点和相机参数等决策是不可更改且不易逆转的。因此，改变视点的可能性有限。给定一幅描绘物体的单图像，新视角合成的任务是生成从该图像所给不同视点渲染物体的新图像。主要困难在于合成那些被解除遮挡的部分；当物体的某些部分在特定视点下被物体自身遮挡时，便发生解除遮挡。本工作中，我们展示如何利用在3D模型中观察到的相关性并将其应用于新的图像实例，从而改进新视角合成。我们提出一种技术，使用从3D模型提取的结构信息，该模型在视点和形状上匹配图像物体。对于后一部分，我们提出一种高效的2D到3D对齐方法，以最小用户交互将图像外观与3D模型几何精确关联。我们的技术能够在数秒内为多种物体类别模拟合理的视点变化。此外，我们表明合成的图像可用作额外训练数据，提升标准物体检测器的性能。
引用
@article{arxiv.1602.00328,
title = {Novel Views of Objects from a Single Image},
author = {Konstantinos Rematas and Chuong Nguyen and Tobias Ritschel and Mario Fritz and Tinne Tuytelaars},
journal= {arXiv preprint arXiv:1602.00328},
year = {2016}
}
备注
to appear in PAMI 2016