立体放大：使用多平面图像学习视图合成
计算机视觉与模式识别
2018-05-25 v1 图形学
摘要
视图合成问题——从已知图像生成场景的新视图——近期引起了广泛关注，部分原因在于虚拟现实与增强现实中的引人入胜的应用。本文探讨了一个有趣的视图合成场景：从窄基线立体相机（包括 VR 相机和现已普及的双镜头手机）拍摄的图像中外推视图。我们将此问题称为立体放大，并提出了一种学习框架，利用一种我们称之为多平面图像 (MPIs) 的新型分层表示。我们的方法还使用了一个用于学习视图外推的海量新数据源：YouTube 上的在线视频。利用从这些视频中挖掘的数据，我们训练了一个深度网络，从输入的立体图像对预测 MPI。推断出的 MPI 随后可用于合成场景的一系列新视图，包括显著外推超出输入基线的视图。我们表明，与几种近期的视图合成方法相比，我们的方法表现更优，并展示了放大窄基线立体图像的应用。
引用
@article{arxiv.1805.09817,
title = {Stereo Magnification: Learning View Synthesis using Multiplane Images},
author = {Tinghui Zhou and Richard Tucker and John Flynn and Graham Fyffe and Noah Snavely},
journal= {arXiv preprint arXiv:1805.09817},
year = {2018}
}
备注
Accepted to SIGGRAPH 2018. Project webpage: https://people.eecs.berkeley.edu/~tinghuiz/projects/mpi/