基于点云变换的单图像新视角合成
计算机视觉与模式识别
2020-09-21 v2
摘要
本文提出,对于物体真正的全新视角合成(即物体可从任意视点合成),需要显式的 3D 形状表示。我们的方法估计点云以捕获物体几何,点云可自由旋转至所需视角并投影为新图像。然而,该图像本质上是稀疏的,因此这一粗视角被用作图像补全网络的输入以获得稠密目标视角。点云通过使用预测的逐像素深度图(从单张 RGB 输入图像估计)结合相机内参获得。通过在输入视角与目标视角之间使用前向扭曲与后向扭曲,网络可在无需深度监督的情况下端到端训练。使用点云作为新视角合成的显式 3D 形状的优势在 3D ShapeNet 基准上得到实验验证。源代码与数据将发布于 https://lhoangan.github.io/pc4novis/。
引用
@article{arxiv.2009.08321,
title = {Novel View Synthesis from Single Images via Point Cloud Transformation},
author = {Hoang-An Le and Thomas Mensink and Partha Das and Theo Gevers},
journal= {arXiv preprint arXiv:2009.08321},
year = {2020}
}
备注
Accepted at British Machine Vision Conference 2020