用于从视频创建逼真虚拟形象的可动画隐式神经表示
计算机视觉与模式识别
2023-05-05 v4
摘要
本文解决了从多视角视频重建可动画人体模型的挑战。一些近期工作提出将非刚性形变场景分解为规范神经辐射场和一组将观测空间点映射到规范空间的形变场，从而能够从图像中学习动态场景。然而，它们将形变场表示为平移向量场或 SE(3) 场，这使得优化高度欠约束。此外，这些表示无法被输入运动显式控制。相反，我们引入基于线性混合蒙皮（linear blend skinning）算法的姿态驱动形变场，其结合混合权重场与 3D 人体骨架来产生观测到规范的对应关系。由于 3D 人体骨架更易观测，它们可正则化形变场的学习。此外，姿态驱动形变场可由输入骨架运动控制以生成新形变场，从而驱动规范人体模型动画。实验表明，我们的方法显著优于近期人体建模方法。代码见 https://zju3dv.github.io/animatable_nerf/。
引用
@article{arxiv.2203.08133,
title = {Animatable Implicit Neural Representations for Creating Realistic Avatars from Videos},
author = {Sida Peng and Zhen Xu and Junting Dong and Qianqian Wang and Shangzhan Zhang and Qing Shuai and Hujun Bao and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2203.08133},
year = {2023}
}
备注
Project page: https://zju3dv.github.io/animatable_nerf/. arXiv admin note: substantial text overlap with arXiv:2105.02872