Vid2Avatar：基于自监督场景分解的野外视频三维化身重建
计算机视觉与模式识别
2023-02-23 v1
摘要
我们提出Vid2Avatar，一种从单目野外视频中学习人体化身的方法。从单目野外视频重建自然运动的人体是困难的。解决该问题需要准确地将人体从任意背景中分离。此外，它需要从短视频序列重建详细的3D表面，使其更具挑战性。尽管存在这些挑战，我们的方法不需要任何真实监督或从着衣人体扫描大型数据集中提取的先验，也不依赖任何外部分割模块。相反，它通过在3D中直接建模场景中的人体与背景（通过两个独立的神经场参数化），联合解决场景分解与表面重建任务。具体而言，我们在规范空间中定义时间一致的人体表示，并制定关于背景模型、规范人体形状与纹理以及逐帧人体姿态参数的全局优化。引入了用于体渲染的由粗到细采样策略与新目标，以实现动态人体与静态背景的干净分离，产生详细且鲁棒的三维人体几何重建。我们在公开可用数据集上评估了我们的方法，并展示了相对于先前方法的改进。
引用
@article{arxiv.2302.11566,
title = {Vid2Avatar: 3D Avatar Reconstruction from Videos in the Wild via Self-supervised Scene Decomposition},
author = {Chen Guo and Tianjian Jiang and Xu Chen and Jie Song and Otmar Hilliges},
journal= {arXiv preprint arXiv:2302.11566},
year = {2023}
}
备注
Project page: https://moygcc.github.io/vid2avatar/