Dyn-HaMR：从动态相机中恢复 4D 交互手部运动
计算机视觉与模式识别
2025-06-03 v3
摘要
我们提出了 Dyn-HaMR，据我们所知，这是第一种从野外动态相机拍摄的单目视频中重建 4D 全局手部运动的方法。从单目视频中重建精确的 3D 手部网格是理解人类行为的关键任务，在增强现实和虚拟现实（AR/VR）中具有重要应用。然而，现有的单目手部重建方法通常依赖于弱透视相机模型，该模型在有限的相机视锥体内模拟手部运动。因此，这些方法难以恢复完整的 3D 全局轨迹，并且经常产生噪声或错误的深度估计，特别是在由动态或移动相机拍摄的视频中（这在自我中心视角场景中很常见）。我们的 Dyn-HaMR 由一个多阶段、多目标优化流水线组成，该流水线考虑了： 同步定位与建图（SLAM），以稳健地估计相对相机运动； 交互手部先验，用于生成式补全并细化交互动力学，确保在（自）遮挡下实现合理的恢复； 通过结合最先进的手部追踪方法进行分层初始化。通过在野外和室内数据集上的广泛评估，我们表明我们的方法在 4D 全局网格恢复方面显著优于现有最先进的方法。这为基于移动相机单目视频的手部运动重建建立了新的基准。我们的项目主页位于 https://dyn-hamr.github.io/。
引用
@article{arxiv.2412.12861,
title = {Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera},
author = {Zhengdi Yu and Stefanos Zafeiriou and Tolga Birdal},
journal= {arXiv preprint arXiv:2412.12861},
year = {2025}
}
备注
Project page is available at https://dyn-hamr.github.io/