Dual-Space NeRF：在分离空间中学习可动画化虚拟形象与场景光照
计算机视觉与模式识别
2022-09-01 v1
摘要
在规范空间中建模人体是捕捉与动画制作的常见做法。但当涉及神经辐射场（NeRF）时，在规范空间学习静态NeRF是不够的，因为即使场景光照恒定，人体移动时其光照也会变化。先前方法通过学习逐帧嵌入来缓解光照不一致，但该操作无法泛化到未见姿态。鉴于世界空间中光照条件静止而规范空间中人体一致，我们提出一种双空间NeRF，用两个MLP在两个分离空间分别建模场景光照与人体。为桥接这两个空间，先前方法主要依赖线性混合蒙皮（LBS）算法。然而动态神经场的LBS混合权重难以处理，因此通常用另一个MLP记忆，无法泛化到新姿态。尽管可借用SMPL等参数化网格的混合权重，但插值操作会引入更多伪影。本文提出使用重心映射，其可直接泛化到未见姿态，并出人意料地取得了优于带神经混合权重的LBS的结果。在Human3.6M和ZJU-MoCap数据集上的定量与定性结果显示了方法的有效性。
引用
@article{arxiv.2208.14851,
title = {Dual-Space NeRF: Learning Animatable Avatars and Scene Lighting in Separate Spaces},
author = {Yihao Zhi and Shenhan Qian and Xinhao Yan and Shenghua Gao},
journal= {arXiv preprint arXiv:2208.14851},
year = {2022}
}
备注
Accepted by 3DV 2022