PC-HMR：基于二维图像/视频的三维人体网格恢复的姿态校准
计算机视觉与模式识别
2021-03-19 v2
摘要
端到端的人体网格恢复（HMR）方法已成功用于三维身体重建。然而，大多数基于 HMR 的框架通过直接从图像或视频中学习网格参数来重建人体，而缺乏视觉数据中三维人体姿态的显式引导。因此，生成的网格在复杂动作中常表现出不正确的姿态。为解决这个问题，我们提出利用三维姿态来校准人体网格。具体而言，我们开发了两种新颖的姿态校准框架，即串行 PC-HMR 和并行 PC-HMR。通过以串行或并行方式耦合先进的三维姿态估计器和 HMR，这两个框架能够在简洁的姿态校准模块引导下有效修正人体网格。此外，由于校准模块是通过非刚性姿态变换设计的，我们的 PC-HMR 框架可以灵活处理骨骼长度变化，以减轻校准网格中的错位。最后，我们的框架基于数据驱动学习与几何建模的通用且互补的集成。通过即插即用模块，它们可以高效地适用于基于图像/视频的人体网格恢复。另外，它们在测试阶段不需要额外的三维姿态标注，这降低了实际中的推理难度。我们在流行基准（即 Human3.6M、3DPW 和 SURREAL）上进行了大量实验，我们的 PC-HMR 框架取得了 SOTA 结果。
引用
@article{arxiv.2103.09009,
title = {PC-HMR: Pose Calibration for 3D Human Mesh Recovery from 2D Images/Videos},
author = {Tianyu Luan and Yali Wang and Junhao Zhang and Zhe Wang and Zhipeng Zhou and Yu Qiao},
journal= {arXiv preprint arXiv:2103.09009},
year = {2021}
}
备注
9 pages, 7 figures. AAAI2021