MMPI：一种基于多重多平面图像融合的灵活辐射场表示
计算机视觉与模式识别
2023-10-03 v1
摘要
本文提出一种基于多平面图像（MPI）的灵活神经辐射场表示，用于复杂场景的高质量新视角合成。采用归一化设备坐标（NDC）参数化的MPI因其简单定义、易计算及表示无界场景的强大能力，在NeRF学习中被广泛使用。然而，现有采用MPI表示进行新视角合成的NeRF工作仅能处理简单的正向面对无界场景，其中输入相机均以相似方向观测且相对平移较小。因此，将这些基于MPI的方法扩展至更大范围甚至360度等更复杂场景极具挑战。本文探索MPI的潜力，表明MPI可合成具有多样相机分布与视角方向的复杂场景的高质量新视角，而不局限于简单正向面对场景。我们的核心思想是用多个面向不同方向的MPI编码神经辐射场，并通过自适应融合操作将其混合。对于场景的每个区域，融合操作对局部表示能力更强的优势MPI赋予较大融合权重，对表示能力较弱的赋予较低权重。这种融合操作自动调节多个MPI以恰当表示多样的局部密度与颜色信息。在KITTI数据集和ScanNet数据集上的实验表明，我们提出的MMPI能从多样相机位姿分布合成高质量图像，且训练快速，优于先前用于新视角合成的快速训练NeRF方法。此外，我们展示MMPI可编码极长轨迹并生成新视角渲染，证明了其在自动驾驶等应用中的潜力。
引用
@article{arxiv.2310.00249,
title = {MMPI: a Flexible Radiance Field Representation by Multiple Multi-plane Images Blending},
author = {Yuze He and Peng Wang and Yubin Hu and Wang Zhao and Ran Yi and Yong-Jin Liu and Wenping Wang},
journal= {arXiv preprint arXiv:2310.00249},
year = {2023}
}