基于视频的 3D 人体姿态与网格协同演化估计
计算机视觉与模式识别
2023-08-22 v1 人工智能
机器学习
摘要
尽管基于单图像的 3D 人体网格恢复已取得显著进展，但从视频中准确且平滑地恢复 3D 人体运动仍具挑战。现有基于视频的方法通常从耦合的图像特征中估计复杂的姿态与形状参数来恢复人体网格，其高复杂度与低表征能力常导致姿态运动不一致与形状模式受限。为缓解该问题，我们引入 3D 姿态作为中介，提出姿态与网格协同演化网络（PMCE），将该任务解耦为两部分：1) 基于视频的 3D 人体姿态估计；2) 由估计的 3D 姿态与时序图像特征回归网格顶点。具体而言，我们提出双流编码器，从输入图像序列中估计中帧 3D 姿态并提取时序图像特征。此外，我们设计协同演化解码器，通过图像引导的自适应层归一化（AdaLN）实现姿态与网格交互，使姿态与网格贴合人体形状。大量实验表明，所提 PMCE 在 3DPW、Human3.6M 与 MPI-INF-3DHP 三个基准数据集上，于逐帧精度与时序一致性方面均优于既往最优方法。我们的代码见 https://github.com/kasvii/PMCE。
引用
@article{arxiv.2308.10305,
title = {Co-Evolution of Pose and Mesh for 3D Human Body Estimation from Video},
author = {Yingxuan You and Hong Liu and Ti Wang and Wenhao Li and Runwei Ding and Xia Li},
journal= {arXiv preprint arXiv:2308.10305},
year = {2023}
}
备注
Accepted by ICCV 2023. Project page: https://kasvii.github.io/PMCE