FWD：基于前向扭曲与深度的实时新视角合成
计算机视觉与模式识别
2022-08-08 v3
摘要
新视角合成（NVS）是一项具有挑战性的任务，要求系统从新视点生成场景的照片级真实感图像，质量和速度对于应用都十分重要。先前的基于图像的渲染（IBR）方法速度快，但在输入视角稀疏时质量较差。近期的神经辐射场（NeRF）及其可泛化变体给出了令人印象深刻的结果，但无法实时。在本文中，我们提出了一种针对稀疏输入的可泛化NVS方法，称为FWD，它以实时速度提供高质量合成。借助显式深度和可微渲染，它取得了与SOTA方法相当的结果，并实现130-1000倍的加速以及更好的感知质量。如果可用，我们可以在训练或推理期间无缝集成传感器深度，以在保持实时速度的同时提升图像质量。随着深度传感器的日益普及，我们希望利用深度的方法将变得愈发有用。
引用
@article{arxiv.2206.08355,
title = {FWD: Real-time Novel View Synthesis with Forward Warping and Depth},
author = {Ang Cao and Chris Rockwell and Justin Johnson},
journal= {arXiv preprint arXiv:2206.08355},
year = {2022}
}
备注
CVPR 2022. Project website https://caoang327.github.io/FWD/