HEMlets PoSh：学习用于三维人体姿态与形状估计的部件中心热图三元组
计算机视觉与模式识别
2021-01-13 v3
摘要
从单幅图像估计三维人体姿态是一项具有挑战性的任务。本工作试图通过引入一种中间状态——部件中心热图三元组（HEMlets），来解决将检测到的二维关节提升到三维空间时的不确定性，从而缩短二维观测与三维解释之间的差距。HEMlets利用三个关节热图来表示每个骨骼身体部件末端关节的相对深度信息。在我们的方法中，首先训练一个卷积网络（ConvNet）从输入图像预测HEMlets，随后进行体关节热图回归。我们利用积分操作从体热图中提取关节位置，保证端到端学习。尽管网络设计简单，定量比较显示其相对于最佳同级方法（例如在Human3.6M上提升20%）有显著的性能改进。所提方法天然支持使用“野外”图像进行训练，其中仅提供骨骼关节的弱标注相对深度信息。这进一步提升了我们模型的泛化能力，正如在室外图像上的定性比较所验证的。利用HEMlets姿态估计的优势，我们进一步设计并附加了一个浅层但有效的网络模块来回归身体姿态与形状的SMPL参数。我们将整个基于HEMlets的人体姿态与形状恢复流程称为HEMlets PoSh。在现有人体恢复基准上的大量定量与定性实验证明了我们的HEMlets PoSh方法所取得的state-of-the-art结果。
引用
@article{arxiv.2003.04894,
title = {HEMlets PoSh: Learning Part-Centric Heatmap Triplets for 3D Human Pose and Shape Estimation},
author = {Kun Zhou and Xiaoguang Han and Nianjuan Jiang and Kui Jia and Jiangbo Lu},
journal= {arXiv preprint arXiv:2003.04894},
year = {2021}
}
备注
14 pages, 14figures, To appear in TPAMI2021. arXiv admin note: substantial text overlap with arXiv:1910.12032