SynSin：基于单图像的端到端视角合成
计算机视觉与模式识别
2020-04-21 v2
摘要
单图像视角合成可在给定单张输入图像的情况下生成场景的新视角。这是一项具有挑战性的任务，因为它需要从一个图像中全面理解3D场景。因此，当前方法通常使用多张图像、在真实深度上训练，或仅限于合成数据。我们提出了一种用于该任务的新颖端到端模型；它在真实图像上训练且无需任何真实3D信息。为此，我们引入了一种新颖的可微分点云渲染器，用于将特征的潜在3D点云变换到目标视角。投影特征由我们的细化网络解码，以修补缺失区域并生成逼真的输出图像。我们生成模型中的3D组件允许在测试时对潜在特征空间进行可解释的操控，例如我们可以从单张图像动画化轨迹。与先前工作不同，我们能生成高分辨率图像并泛化到其他输入分辨率。我们在Matterport、Replica和RealEstate10K数据集上优于基线和先前工作。
引用
@article{arxiv.1912.08804,
title = {SynSin: End-to-end View Synthesis from a Single Image},
author = {Olivia Wiles and Georgia Gkioxari and Richard Szeliski and Justin Johnson},
journal= {arXiv preprint arXiv:1912.08804},
year = {2020}
}
备注
Project page: www.robots.ox.ac.uk/~ow/synsin.html