H4D：基于神经组合表示学习的人体四维建模
计算机视觉与模式识别
2022-04-20 v2
摘要
尽管基于深度学习的 3D 重建取得了令人印象深刻的成果，但直接学习以详细几何建模 4D 人体捕捉的技术研究较少。本工作提出了一种新颖框架，通过利用广泛使用的 SMPL 参数模型中的人体先验，有效学习动态的紧凑且组合化的表示。具体而言，我们的表示称为 H4D，以形状与初始姿态的 SMPL 参数以及编码运动与辅助信息的潜码，在时间跨度上表示动态 3D 人体。我们提出了一个简单而有效的线性运动模型以提供粗略且正则化的运动估计，随后通过辅助码中编码的残差对每帧的姿态与几何细节进行补偿。在技术上，我们引入了基于 GRU 的新颖架构以促进学习并提升表示能力。大量实验表明，我们的方法不仅能有效恢复具有准确运动与详细几何的动态人体，还适用于多种 4D 人体相关任务，包括运动重定向、运动补全与未来预测。请查看项目页面获取视频与代码：https://boyanjiang.github.io/H4D/。
引用
@article{arxiv.2203.01247,
title = {H4D: Human 4D Modeling by Learning Neural Compositional Representation},
author = {Boyan Jiang and Yinda Zhang and Xingkui Wei and Xiangyang Xue and Yanwei Fu},
journal= {arXiv preprint arXiv:2203.01247},
year = {2022}
}
备注
Accepted by CVPR 2022. Project page: https://boyanjiang.github.io/H4D/