SurMo：基于表面的4D运动建模用于动态人体渲染
计算机视觉与模式识别
2024-04-03 v2
摘要
从视频序列进行动态人体渲染通过将渲染公式化为从静态姿态到人体图像的映射，已经取得了显著进展。然而，现有方法侧重于每一帧的人体外观重建，而时间运动关系尚未得到充分探索。在本文中，我们提出了一种新的4D运动建模范式SurMo，它在统一框架中联合建模时间动态和人体外观，具有三个关键设计：1）基于表面的运动编码，使用高效紧凑的基于表面的三平面来建模4D人体运动。它在统计身体模板的密集表面流形上编码空间和时间运动关系，继承了身体拓扑先验，用于具有稀疏训练观测的泛化新视角合成。2）物理运动解码，旨在通过解码时间步t的运动三平面特征来预测下一个时间步t+1的空间导数和时间导数，从而在训练阶段鼓励物理运动学习。3）4D外观解码，通过高效的体积表面条件渲染器将运动三平面渲染为图像，该渲染器专注于具有运动学习条件的身体表面渲染。大量实验验证了我们新范式的先进性能，并展示了基于表面的运动三平面在渲染具有快速运动甚至运动相关阴影的高保真视图一致人体方面的表现力。我们的项目页面位于：https://taohuumd.github.io/projects/SurMo/
引用
@article{arxiv.2404.01225,
title = {SurMo: Surface-based 4D Motion Modeling for Dynamic Human Rendering},
author = {Tao Hu and Fangzhou Hong and Ziwei Liu},
journal= {arXiv preprint arXiv:2404.01225},
year = {2024}
}
备注
Accepted to CVPR 2024. Project Page: https://taohuumd.github.io/projects/SurMo/