基于多平面特征表示的高效视图合成与三维多帧去噪
计算机视觉与模式识别
2023-04-06 v2
摘要
尽管当前多帧复原方法使用2D对齐技术组合多张输入图像的信息，新颖视图合成的最新进展正为依赖体素场景表示的新范式铺平道路。本工作中，我们引入首个基于3D的多帧去噪方法，其以更低计算需求显著优于基于2D的对应方法。我们的方法扩展了用于新颖视图合成的多平面图像（MPI）框架，引入可学习的编码器-渲染器对，在特征空间中操控多平面表示。编码器以深度方向方式跨视图融合信息，而渲染器以视图方向方式跨深度融合信息。两模块端到端训练，并以无监督方式学习分离深度，从而产生多平面特征（MPF）表示。在Spaces与Real Forward-Facing数据集以及原始连拍数据上的实验验证了我们的方法在视图合成、多帧去噪及噪声条件下视图合成上的有效性。
引用
@article{arxiv.2303.18139,
title = {Efficient View Synthesis and 3D-based Multi-Frame Denoising with Multiplane Feature Representations},
author = {Thomas Tanay and Aleš Leonardis and Matteo Maggioni},
journal= {arXiv preprint arXiv:2303.18139},
year = {2023}
}
备注
Accepted at CVPR 2023