LiveView：用于视图合成的动态以目标为中心的 MPI
计算机视觉与模式识别
2021-07-13 v1
摘要
现有基于多平面图像（MPI）的视图合成方法在一次前向传播中使用固定数量的平面生成与输入视图对齐的 MPI。这些方法能快速、高质量地渲染新视角，但依赖于缓慢且计算昂贵的 MPI 生成方法，不适合实时应用。此外，大多数 MPI 技术使用固定的深度/视差平面，一旦训练完成便无法修改，因此在运行时灵活性很差。我们提出 LiveView——一种新颖的 MPI 生成与渲染技术，可实时生成高质量视图合成。我们的方法还能在运行时灵活选择依赖于场景的 MPI 平面（平面数量及其间距）。LiveView 首先将输入图像扭曲到目标视图（以目标为中心），然后学习逐深度平面（动态地）生成以目标视图为中心的 MPI。该方法生成高质量渲染，同时实现快速 MPI 生成与新视角合成。因此，LiveView 支持需要基于输入视图视频流频繁更新 MPI 的实时视图合成应用。我们证明 LiveView 在视图合成质量上更优，且运行时比最先进的基于 MPI 的方法快 70 倍。
引用
@article{arxiv.2107.05113,
title = {LiveView: Dynamic Target-Centered MPI for View Synthesis},
author = {Sushobhan Ghosh and Zhaoyang Lv and Nathan Matsuda and Lei Xiao and Andrew Berkovich and Oliver Cossairt},
journal= {arXiv preprint arXiv:2107.05113},
year = {2021}
}