动态人体的实时体渲染
计算机视觉与模式识别
2023-03-22 v1 图形学
摘要
我们提出一种从带有参数化身体拟合的单目视频中快速三维重建并实时渲染动态人体的方法。我们的方法使用单块 GPU 可在不到 3 小时内重建动态人体，而近期最先进的替代方案需长达 72 小时。这些加速通过使用仅基于线性混合蒙皮的轻量形变模型，以及用于建模标准姿态下人体形状与颜色的高效因式分解体表示来实现。此外，我们提出一种新颖的局部光线行进渲染，其通过利用标准 GPU 硬件且无需对任何辐射场进行烘焙或转换，允许在移动 VR 设备上以每秒 40 帧可视化神经人体，且视觉质量损失极小。我们的实验评估显示，在使用简单模型并实现实时渲染的同时，取得了优于或可与最先进方法竞争的结果，并获得了大幅训练加速。
引用
@article{arxiv.2303.11898,
title = {Real-time volumetric rendering of dynamic humans},
author = {Ignacio Rocco and Iurii Makarov and Filippos Kokkinos and David Novotny and Benjamin Graham and Natalia Neverova and Andrea Vedaldi},
journal= {arXiv preprint arXiv:2303.11898},
year = {2023}
}
备注
Project page: https://real-time-humans.github.io/