fMPI：基于分层场景表示的野外快速新视角合成
计算机视觉与模式识别
2023-12-27 v1 机器学习
摘要
在本研究中，我们提出了两种基于分层场景表示的新视角合成（NVS）方法的新型输入处理范式，在不牺牲质量的前提下显著提高了其运行速度。我们的方法识别并缓解了传统流程中最耗时的两个方面：构建和处理所谓的平面扫描体积（PSV），这是一个由输入相机视图的平面重投影组成的高维张量。具体而言，我们提出并行处理该张量的组以提高计算效率，并对相邻输入平面进行超采样以生成更密集从而更准确的场景表示。所提出的增强功能提供了显著的灵活性，允许在性能和速度之间取得平衡，从而向实时应用迈出了重要一步。此外，它们具有极强的通用性，任何基于 PSV 的方法都可以利用它们，包括使用多平面图像、多球面图像和分层深度图像的方法。在一系列全面的实验中，我们证明了所提出的范式能够设计出一种 NVS 方法，该方法在公共基准测试中达到最先进水平（SOTA），同时比现有的 SOTA 方法快达 。它在速度上也超过了当前的领先者 以上，同时实现了显著更好的渲染质量。
引用
@article{arxiv.2312.16109,
title = {fMPI: Fast Novel View Synthesis in the Wild with Layered Scene Representations},
author = {Jonas Kohler and Nicolas Griffiths Sanchez and Luca Cavalli and Catherine Herold and Albert Pumarola and Alberto Garcia Garcia and Ali Thabet},
journal= {arXiv preprint arXiv:2312.16109},
year = {2023}
}