用于新视角合成的多平面神经辐射场
计算机视觉与模式识别
2023-03-06 v1
摘要
新视角合成是一个长期存在的问题，围绕从新颖相机视点渲染场景帧展开。体素方法通过显式3D表示相机视锥体为建模遮挡提供解决方案。多平面图像（MPI）是体素方法，使用不同深度的前平行平面表示场景，但受深度离散化影响导致2.5D场景表示。另一类方法依赖隐式3D场景表示。神经辐射场（NeRF）利用神经网络将连续3D场景结构封装于网络权重中，实现照片级真实合成结果，然而这些方法受限于逐场景优化设置，实践中效率低。多平面神经辐射场（MINE）开启了结合隐式与显式场景表示之门。它实现连续3D场景表示，尤其在深度维度，同时利用输入图像特征避免逐场景优化。当前该领域文献工作的主要缺陷是受限于单视图输入，将合成能力局限在窄视角范围。本工作中，我们深入考察单视图多平面神经辐射场的性能、泛化与效率。此外，我们提出一种接受多视图的新多平面NeRF架构，以改进合成结果并扩展视角范围。输入源帧的特征通过所提注意力感知融合模块有效融合，以突出不同视点的重要信息。实验显示了基于注意力的融合的有效性，以及我们所提方法相比多视图NeRF与MPI技术的 promising 结果。
引用
@article{arxiv.2303.01736,
title = {Multi-Plane Neural Radiance Fields for Novel View Synthesis},
author = {Youssef Abdelkareem and Shady Shehata and Fakhri Karray},
journal= {arXiv preprint arXiv:2303.01736},
year = {2023}
}
备注
ICDIPV 2023