W-HMR：基于弱监督标定的世界坐标系单目人体网格恢复
计算机视觉与模式识别
2024-09-10 v6
摘要
以往从单目图像恢复三维人体运动的方法常因依赖相机坐标而有所不足，导致在真实应用中不准确。焦距标签的有限可用性与多样性进一步加剧了重建三维人体中的错位问题。为应对这些挑战，我们提出W-HMR，一种弱监督标定方法，其基于人体畸变信息预测“合理”的焦距，从而无需精确的焦距标签。我们的方法提升了二维监督精度与恢复准确性。此外，我们提出OrientCorrect模块，用于校正身体朝向以在世界空间中获得合理重建，避免了不准确相机旋转预测带来的误差累积。我们的贡献包括一种新颖的弱监督相机标定技术、一个有效的朝向校正模块，以及一种解耦策略，显著提升了相机与世界坐标下人体运动恢复的泛化性与准确性。W-HMR的鲁棒性通过在多个数据集上的大量实验得到验证，展现出相对于现有方法的优越性。代码与演示已发布于项目页https://yw0208.github.io/w-hmr/。
引用
@article{arxiv.2311.17460,
title = {W-HMR: Monocular Human Mesh Recovery in World Space with Weak-Supervised Calibration},
author = {Wei Yao and Hongwen Zhang and Yunlian Sun and Yebin Liu and Jinhui Tang},
journal= {arXiv preprint arXiv:2311.17460},
year = {2024}
}