MPS-NeRF：基于多视角图像的可泛化三维人体渲染
计算机视觉与模式识别
2022-07-28 v2 人工智能
摘要
基于神经辐射场（NeRF）的进展，近期在三维人体渲染（包括新视角合成与姿态动画）方面取得了快速进展。然而，大多数现有方法侧重于特定人物训练，且训练通常需要多视角视频。本文处理一项新的挑战性任务——仅以多视角图像作为输入，对训练时未见过的人物渲染新视角与新姿态。针对该任务，我们提出一种简单而有效的方法，以多视角图像为条件输入训练可泛化的 NeRF。关键要素是一种结合规范 NeRF 与体积形变方案的专用表示。使用规范空间使我们的方法能够学习人体的共享属性并轻松泛化至不同人物。体积形变用于连接规范空间与输入及目标图像，并查询图像特征以预测辐射与密度。我们利用在输入图像上拟合的参数化三维人体模型推导形变，当与我们的规范 NeRF 结合时，其在实践中表现良好。在真实与合成数据上针对新视角合成与姿态动画任务的实验共同证明了我们方法的有效性。
引用
@article{arxiv.2203.16875,
title = {MPS-NeRF: Generalizable 3D Human Rendering from Multiview Images},
author = {Xiangjun Gao and Jiaolong Yang and Jongyoo Kim and Sida Peng and Zicheng Liu and Xin Tong},
journal= {arXiv preprint arXiv:2203.16875},
year = {2022}
}