Im4D：面向动态场景的高保真实时新视角合成
计算机视觉与模式识别
2023-10-13 v1
摘要
本文旨在解决从多视角视频进行动态视角合成的挑战。关键观察是，尽管先前基于网格的方法提供一致的渲染，但它们难以捕捉复杂动态场景的外观细节，而多视角基于图像的渲染方法恰好表现出相反的特性。为结合两者优势，我们提出 Im4D，一种由基于网格的几何表示与多视角基于图像的外观表示组成的混合场景表示。具体而言，动态几何被编码为由时空特征平面和一个小型 MLP 网络构成的 4D 密度函数，其全局建模场景结构并保障渲染一致性。我们通过原始多视角视频和一个学习从图像特征预测 3D 点颜色的网络来表示场景外观，而非完全用网络记忆细节外观，从而自然降低网络学习难度。我们的方法在包括 DyNeRF、ZJU-MoCap、NHR、DNA-Rendering 和 ENeRF-Outdoor 在内的五个动态视角合成数据集上评估。结果表明，Im4D 在渲染质量上展现出最先进的性能，且可高效训练，同时在单块 RTX 3090 GPU 上以 79.8 FPS 的速度对 512x512 图像实现实时渲染。
引用
@article{arxiv.2310.08585,
title = {Im4D: High-Fidelity and Real-Time Novel View Synthesis for Dynamic Scenes},
author = {Haotong Lin and Sida Peng and Zhen Xu and Tao Xie and Xingyi He and Hujun Bao and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2310.08585},
year = {2023}
}
备注
SIGGRAPH Asia 2023; Project page: https://zju3dv.github.io/im4d