用多平面图像推进视图外推的边界
计算机视觉与模式识别
2019-05-02 v1
摘要
我们探究从窄基线图像对进行视图合成的问题,并专注于生成具有合理 disocclusion(遮挡暴露)的高质量视图外推。我们的方法建立在预测多平面图像 (MPI) 的先前工作之上,MPI 将场景内容表示为参考视锥内的一组 RGB 平面,并通过将这些内容投影到目标视点来渲染新视图。我们给出了理论分析,表明可从 MPI 渲染的视图范围随 MPI 视差采样频率线性增加,并提出了一种新颖的 MPI 预测流程,理论上可将先前工作所允许的横向视点移动的视图外推提升至至多 。我们的方法改善了限制先前方法可渲染视图范围的两个具体问题:1) 我们使用 3D 卷积网络架构以及随机分辨率训练流程,使模型能预测具有更高视差采样频率的 MPI,从而扩展了可无深度离散化伪影渲染的新视图范围。2) 我们通过强制约束——任意深度处隐藏内容的外观必须取自该深度或其后可见内容——来减少 disocclusion 中出现的重复纹理伪影。请见结果视频:https://www.youtube.com/watch?v=aJqAaMNL2m4。
引用
@article{arxiv.1905.00413,
title = {Pushing the Boundaries of View Extrapolation with Multiplane Images},
author = {Pratul P. Srinivasan and Richard Tucker and Jonathan T. Barron and Ravi Ramamoorthi and Ren Ng and Noah Snavely},
journal= {arXiv preprint arXiv:1905.00413},
year = {2019}
}
备注
Oral presentation at CVPR 2019