DanceHMR：从单目视频中恢复手部感知的全身人体网格
计算机视觉与模式识别
2026-05-22 v2
摘要
单目视频人体网格恢复对于数字人、虚拟人动画和具身仿真至关重要，这些应用要求时间稳定性和富有表现力的全身运动。现有的视频 HMR 方法能够产生连贯的身体运动，但往往忽略了详细的手部关节运动；而基于图像的全身方法独立地逐帧恢复 SMPL-X 网格，通常会导致手部运动抖动且不准确。我们提出了一个用于具有挑战性的自然场景单目视频的时间连贯的全身 HMR 框架。我们的模型通过残差身体-手部融合统一了身体上下文和特定部位的手部观测，从而在单一时间架构内实现稳定的身体运动和详细的手部恢复。我们进一步引入了特写感知增强，以提高上半身取景下的鲁棒性。在全身和仅身体基准上的实验表明，该方法改善了手部重建，并具有竞争力的身体精度。我们的方法还在具有挑战性的真实世界视频中产生了时间稳定且 2D 一致的 SMPL-X 运动。
引用
@article{arxiv.2605.18102,
title = {DanceHMR: Hand-Aware Whole-Body Human Mesh Recovery from Monocular Videos},
author = {Wenhao Shen and Ming Zhou and Hengyuan Zhang and Siyuan Bian and Youjiang Xu and Xi Lin},
journal= {arXiv preprint arXiv:2605.18102},
year = {2026}
}
备注
I would like to withdraw my arXiv paper submission due to company-related approval and authorization requirements