ActorsNeRF：基于可泛化 NeRF 的可动画少样本人体渲染
计算机视觉与模式识别
2023-04-28 v1
摘要
尽管基于 NeRF 的人体表示已展现出令人惊叹的新视角合成结果，大多数方法仍依赖大量图像/视角进行训练。在本工作中，我们提出一种称为 ActorsNeRF 的新型可动画 NeRF。它首先在多样化人体对象上预训练，然后通过少样本单目视频帧适配到具有未见姿态的新演员。基于先前使用 ConvNet 编码器进行参数共享的可泛化 NeRF，ActorsNeRF 进一步采用两种人体先验来捕捉巨大的人体外观、形状和姿态变化。具体而言，在编码特征空间中，我们将不同人体对象对齐到类别级规范空间，然后将同一人体来自不同帧的对齐到实例级规范空间以进行渲染。我们通过定量和定性证明，ActorsNeRF 在多个数据集上对新人物和新姿态的少样本泛化显著优于现有最先进水平。项目页面：https://jitengmu.github.io/ActorsNeRF/
引用
@article{arxiv.2304.14401,
title = {ActorsNeRF: Animatable Few-shot Human Rendering with Generalizable NeRFs},
author = {Jiteng Mu and Shen Sang and Nuno Vasconcelos and Xiaolong Wang},
journal= {arXiv preprint arXiv:2304.14401},
year = {2023}
}
备注
Project Page : https://jitengmu.github.io/ActorsNeRF/