四维人类：基于Transformer的人体重建与跟踪
计算机视觉与模式识别
2023-09-01 v3
摘要
我们提出了一种重建人体并随时间跟踪他们的方法。该方法的核心在于，我们提出了一种用于人体网格恢复网络的完全“Transformer化”版本。该网络HMR 2.0推进了当前最优水平，并展现出分析非常规姿态的能力，这类姿态过去难以从单张图像中重建。为了分析视频，我们使用HMR 2.0的3D重建结果作为在3D中运行的跟踪系统的输入。这使我们能够处理多人并在遮挡事件中保持身份。我们完整的方法4DHumans在从单目视频跟踪人物方面取得了最先进的结果。此外，我们在动作识别这一下游任务上展示了HMR 2.0的有效性，相比先前基于姿态的动作识别方法取得了显著改进。我们的代码和模型可在项目网站获取：https://shubham-goel.github.io/4dhumans/。
引用
@article{arxiv.2305.20091,
title = {Humans in 4D: Reconstructing and Tracking Humans with Transformers},
author = {Shubham Goel and Georgios Pavlakos and Jathushan Rajasegaran and Angjoo Kanazawa and Jitendra Malik},
journal= {arXiv preprint arXiv:2305.20091},
year = {2023}
}
备注
In ICCV 2023. Project Webpage: https://shubham-goel.github.io/4dhumans/