NeuVV：具有沉浸式渲染与编辑功能的神经体积视频
计算机视觉与模式识别
2022-02-15 v1 图形学
摘要
元宇宙承诺提供的一些最令人兴奋的体验，例如与虚拟环境中虚拟角色的实时交互，需要实时照片级真实感渲染。主动或被动的基于 3D 重建的渲染方法仍需要大量清理工作来修复网格或点云。本文中，我们提出一种称为神经体积视频或 NeuVV 的神经体积成像技术，以支持体积视频内容的沉浸式、交互式与时空渲染，兼具照片真实感与实时性。NeuVV 的核心是将动态神经辐射场（NeRF）高效编码为可渲染且可编辑的图元。我们引入两类分解方案：用于建模随空间与时间平滑颜色变化的超球谐（HH）分解，以及用于建模由运动引起的突变密度与颜色变化的可学习基表示。NeuVV 分解可集成至类似于 PlenOctree 的 Video Octree（VOctree）中，以显著加速训练同时降低内存开销。实时 NeuVV 渲染进一步支持一类沉浸式内容编辑工具。具体地，NeuVV 将每个 VOctree 视为图元，并实现基于体积的深度排序与 alpha 混合，以 realization 时空组合用于内容重用。例如，我们展示了将同一表演的不同呈现置于不同 3D 位置与不同时间、调整表演者衣物颜色/纹理、投射聚光阴影以及合成距离衰减光照等，均以交互速度完成。我们进一步开发了混合神经-光栅化渲染框架以支持消费级 VR 头显，使得上述体积视频观看与编辑首次可在虚拟 3D 空间中沉浸式进行。
引用
@article{arxiv.2202.06088,
title = {NeuVV: Neural Volumetric Videos with Immersive Rendering and Editing},
author = {Jiakai Zhang and Liao Wang and Xinhang Liu and Fuqiang Zhao and Minzhang Li and Haizhao Dai and Boyuan Zhang and Wei Yang and Lan Xu and Jingyi Yu},
journal= {arXiv preprint arXiv:2202.06088},
year = {2022}
}