UV Volumes：用于可编辑自由视角人体表演实时渲染的方法
计算机视觉与模式识别
2023-03-06 v5
摘要
神经体渲染能够实现自由视角下人体表演者的照片级真实感渲染，这是沉浸式 VR/AR 应用中的一项关键任务。但该方法在渲染过程中受限于极高的计算成本。为解决此问题，我们提出了 UV Volumes，一种能够以实时方式渲染可编辑自由视角人体表演视频的新方法。它将高频（即非平滑）的人体外观从 3D 体中分离出来，并将其编码为 2D 神经纹理栈（NTS）。平滑的 UV 体允许使用更小更浅的神经网络来获取 3D 中的密度与纹理坐标，同时在 2D NTS 中捕捉精细外观。对于可编辑性，参数化人体模型与平滑纹理坐标之间的映射使我们在新姿态与形状上具有更好的泛化能力。此外，NTS 的使用支持有趣的应用，例如重新贴图。在 CMU Panoptic、ZJU Mocap 和 H36M 数据集上的大量实验表明，我们的模型平均能以 30FPS 渲染 960 x 540 图像，且照片真实感可与最先进方法相媲美。项目与补充材料见 https://fanegg.github.io/UV-Volumes。
引用
@article{arxiv.2203.14402,
title = {UV Volumes for Real-time Rendering of Editable Free-view Human Performance},
author = {Yue Chen and Xuan Wang and Xingyu Chen and Qi Zhang and Xiaoyu Li and Yu Guo and Jue Wang and Fei Wang},
journal= {arXiv preprint arXiv:2203.14402},
year = {2023}
}
备注
Accepted to CVPR 2023