RANA：可重光照的关节化神经化身
计算机视觉与模式识别
2022-12-07 v1
摘要
我们提出 RANA，一种可重光照且关节化的神经化身，用于在任意视角、身体姿态和光照下逼真合成人体。我们仅需该人的一段短视频片段即可创建化身，并假定对光照环境一无所知。我们提出一种新颖框架，从单目 RGB 视频中建模人体，同时解耦其几何、纹理以及光照环境。为简化这一原本不适定的任务，我们首先通过 SMPL+D 模型拟合估计人体的粗略几何与纹理，然后学习一种用于逼真图像生成的关节化神经表示。RANA 首先在任意给定目标身体姿态下生成人体的法线和反照率图，随后利用球谐光照在目标光照环境中生成着色图像。我们还提出使用合成图像预训练 RANA，并证明这可带来几何与纹理间更好的解耦，同时提升对新身体姿态的鲁棒性。最后，我们还提出一个新的逼真合成数据集 Relighting Humans，以定量评估所提方法的性能。
引用
@article{arxiv.2212.03237,
title = {RANA: Relightable Articulated Neural Avatars},
author = {Umar Iqbal and Akin Caliskan and Koki Nagano and Sameh Khamis and Pavlo Molchanov and Jan Kautz},
journal= {arXiv preprint arXiv:2212.03237},
year = {2022}
}
备注
project page: https://nvlabs.github.io/RANA/