HaWoR: 从自我中心视频重建世界空间手部运动
计算机视觉与模式识别
2025-01-07 v1
摘要
尽管3D手部姿态估计取得了进展，但当前方法主要关注相机坐标系下的单图像3D手部重建，忽略了手部的世界空间运动。这一限制阻碍了它们在自我中心视频场景中的直接使用，因为手和相机持续运动。本文提出HaWoR，一种从自我中心视频中高保真重建世界坐标下手部运动的方法。我们建议将任务解耦为：在相机空间重建手部运动，并在世界坐标系中估计相机轨迹。为了实现精确的相机轨迹估计，我们提出一种自适应自我中心SLAM框架，弥补了传统SLAM方法的不足，在具有挑战性的相机动态下提供鲁棒性能。为了确保手部运动轨迹的鲁棒性，即使手部移出视锥，我们设计了一种新颖的运动填充网络，有效补全序列中缺失的帧。通过广泛的定量和定性评估，我们证明HaWoR在不同自我中心基准数据集上在手部运动重建和世界帧相机轨迹估计方面均达到最先进性能。代码和模型可在 https://hawor-project.github.io/ 获取。
引用
@article{arxiv.2501.02973,
title = {HaWoR: World-Space Hand Motion Reconstruction from Egocentric Videos},
author = {Jinglei Zhang and Jiankang Deng and Chao Ma and Rolandos Alexandros Potamias},
journal= {arXiv preprint arXiv:2501.02973},
year = {2025}
}