MeTRAbs：用于绝对三维人体姿态估计的度量尺度截断鲁棒热图
摘要
热图表示多年来一直构成人体姿态估计系统的基础，其向三维的扩展是近期富有成果的研究方向。这包括 2.5D 体素热图，其 X 和 Y 轴对应图像空间，Z 对应受试者周围的度量深度。为获得度量尺度预测，2.5D 方法需要单独的后处理步骤来解决尺度模糊性。此外，它们无法定位图像边界之外的身体关节，导致对截断图像的不完整估计。为解决这些局限，我们提出度量尺度截断鲁棒 (MeTRo) 体素热图，其各维度均定义于度量三维空间中，而非与图像空间对齐。这种对热图维度的重新解释使我们能够直接估计完整的度量尺度姿态，而无需测试时距离知识或依赖人体测量启发式方法（如骨长）。为进一步展示我们表示的效用，我们提出了一种将三维度量尺度热图与二维图像空间热图可微结合以估计绝对三维姿态的方法（我们的 MeTRAbs 架构）。我们发现，通过绝对姿态损失进行监督对于准确的非根相对定位至关重要。使用 ResNet-50 骨干网络且无需进一步可学习层，我们在 Human3.6M、MPI-INF-3DHP 和 MuPoTS-3D 上取得了最先进的结果。我们的代码将公开以促进进一步研究。
引用
@article{arxiv.2007.07227,
title = {MeTRAbs: Metric-Scale Truncation-Robust Heatmaps for Absolute 3D Human Pose Estimation},
author = {István Sárándi and Timm Linder and Kai O. Arras and Bastian Leibe},
journal= {arXiv preprint arXiv:2007.07227},
year = {2023}
}
备注
See project page at https://vision.rwth-aachen.de/metrabs . Accepted for publication in the IEEE Transactions on Biometrics, Behavior, and Identity Science (TBIOM), Special Issue "Selected Best Works From Automated Face and Gesture Recognition 2020". Extended version of FG paper arXiv:2003.02953