通过对单目视频中高阶时序动力学对齐实现自然人体运动恢复
计算机视觉与模式识别
2026-05-27 v1
摘要
从单目视频中恢复的人体运动往往显得过于平滑或在时序上不一致，即使关节位置数值准确。我们观察到，这一限制源于缺乏可靠的高阶时序线索——速度和加速度——这些线索对于重建展现真实动量、时机和高频细节的运动至关重要。我们引入 HTD-Refine，一个后处理框架，用于增强现有的人体运动恢复（HMR）管道，显式估计高阶时序动力学。在我们系统的核心是 PVA-Net，一个时序变换器，可从单目视频中直接推断每个关节的 2D 位置、3D 速度和 3D 加速度。这些预测的动力学作为软性且信息丰富的约束，用于全局优化程序，以细化世界空间轨迹，显著减少抖动、抑制过度平滑并恢复物理上合理的运动。广泛的野外基准实验表明，HTD-Refine 持续改进了最先进的 HMR 方法，yielding 更准确的全局轨迹和显著更自然的运动动力学。我们的结果凸显了高阶时序建模在推动单目人体运动恢复方面的关键作用。
关键词
引用
@article{arxiv.2605.26879,
title = {Natural Human Motion Recovery by Aligning High-Order Temporal Dynamics from Monocular Videos},
author = {Dingkun Wei and Zehong Shen and Yan Xia and Georgios Pavlakos and Yujun Shen and Xiaowei Zhou},
journal= {arXiv preprint arXiv:2605.26879},
year = {2026}
}
备注
13 pages, 6 figures. Accepted as an Oral presentation and Best Paper Candidate at CVPR 2026. Project page: https://zju3dv.github.io/htd-refine/