基于单目 RGB 视频的可动画神经辐射场
计算机视觉与模式识别
2021-09-08 v2
摘要
我们提出了可动画神经辐射场（animatable NeRF），用于从单目视频创建精细人体化身。我们的方法通过引入显式姿态引导形变并学习场景表示网络，将神经辐射场（NeRF）扩展到具有人体运动动态场景。具体而言，我们估计每帧人体姿态并学习用于精细人体模板的恒定规范空间，从而在姿态参数显式控制下实现从观测空间到规范空间的自然形状形变。为补偿不精确的姿态估计，我们引入了姿态精化策略，在学习过程中更新初始姿态，这不仅有助于学习更精确的人体重建，也加速了收敛。在实验中我们表明，所提方法实现了 1）具有高质细节的隐式人体几何与外观重建，2）从新视角对人物进行照片级真实感渲染，以及 3）以新姿态对人物进行动画化。
引用
@article{arxiv.2106.13629,
title = {Animatable Neural Radiance Fields from Monocular RGB Videos},
author = {Jianchuan Chen and Ying Zhang and Di Kang and Xuefei Zhe and Linchao Bao and Xu Jia and Huchuan Lu},
journal= {arXiv preprint arXiv:2106.13629},
year = {2021}
}
备注
12 pages, 12 figures