从纹理空间驱动 NeRF 动画化：一种人体表演的姿态相关渲染框架
计算机视觉与模式识别
2024-03-20 v1
摘要
从多视角 RGB 视频创建高质量可控的 3D 人体模型是一项重大挑战。神经辐射场（NeRFs）在静态及动态场景的重建与自由视角渲染中已展现出卓越的质量。将其扩展至动态人体表演的可控合成是一个令人振奋的研究课题。本文提出一种基于 NeRF 的新型框架，用于人体表演的姿态相关渲染。在我们的方法中，辐射场围绕 SMPL 身体网格进行变形，从而创建一种新的表面对齐表示。该表示可通过骨骼关节参数进行动画化，这些参数与视角一并输入 NeRF 以生成姿态相关外观。为实现这一点，我们的表示包含网格纹理图上对应的 2D UV 坐标以及查询点与网格之间的距离。为在映射歧义与随机视觉变化下实现高效学习，我们引入一种新颖的重映射过程以精炼映射坐标。实验表明，我们的方法在新视角与新姿态合成中均能生成高质量渲染结果。
引用
@article{arxiv.2311.03140,
title = {Animating NeRFs from Texture Space: A Framework for Pose-Dependent Rendering of Human Performances},
author = {Paul Knoll and Wieland Morgenstern and Anna Hilsmann and Peter Eisert},
journal= {arXiv preprint arXiv:2311.03140},
year = {2024}
}