结构多平面图像：衔接神经视图合成与三维重建
计算机视觉与模式识别
2023-03-13 v1
摘要
多平面图像（MPI）包含一组前向平行 RGBA 层，是从稀疏输入进行视图合成的一种高效且有效的表示。然而，其固定结构限制了性能，尤其对于以倾斜角度成像的表面。我们引入结构多平面图像（S-MPI），其平面结构简洁地近似三维场景。S-MPI 以几何保真结构传达 RGBA 上下文，直接衔接视图合成与三维重建。它不仅能克服 MPI 的关键局限，即倾斜表面的离散化伪影与冗余层的滥用，还能获取平面式三维重建。尽管应用 S-MPI 具有直观性与需求，但也带来巨大挑战，例如 RGBA 层与平面位姿的高保真近似、多视图一致性、非平面区域建模，以及相交平面的高效渲染。为此，我们提出一种基于分割模型的 transformer 网络。它预测紧凑且富有表现力的 S-MPI 层及其对应掩码、位姿与 RGBA 上下文。非平面区域在我们统一框架中作为特例被一并处理。多视图一致性通过共享全局代理嵌入来保证，这些嵌入编码覆盖完整三维场景且坐标对齐的平面级特征。大量实验表明，我们的方法优于先前最先进的基于 MPI 的视图合成方法与平面重建方法。
引用
@article{arxiv.2303.05937,
title = {Structural Multiplane Image: Bridging Neural View Synthesis and 3D Reconstruction},
author = {Mingfang Zhang and Jinglu Wang and Xiao Li and Yifei Huang and Yoichi Sato and Yan Lu},
journal= {arXiv preprint arXiv:2303.05937},
year = {2023}
}
备注
Accepted to CVPR2023