从单目视频预测4D手部轨迹
计算机视觉与模式识别
2025-01-15 v1
摘要
我们提出了HaPTIC方法，可从单目视频中推断连贯的4维手部轨迹。当前的视频基于手势重建方法主要聚焦于改进基于相邻帧的人帧级3D姿态，而非研究空间中一致的4D手部轨迹。尽管有额外的时序线索，他们通常表现不如基于图像的方法，因为注释视频数据的稀缺。为解决这些问题，我们将一个最先进的基于图像的变换器改造为输入多个帧，直接预测连贯的轨迹。我们引入两种轻量级注意力层：跨视图自注意力用于融合时序信息，以及全局跨注意力用于引入更大的空间上下文。该方法推断出类似于ground truth的4D手部轨迹，同时保持强大的2D重投影对齐。我们将方法应用于体hetically和allocentrically视频。该方法在全局轨迹精度方面显著优于现有方法，同时在单张图像姿态估计的最先进方法方面表现相当。项目网址：https://judyye.github.io/haptic-www
引用
@article{arxiv.2501.08329,
title = {Predicting 4D Hand Trajectory from Monocular Videos},
author = {Yufei Ye and Yao Feng and Omid Taheri and Haiwen Feng and Shubham Tulsiani and Michael J. Black},
journal= {arXiv preprint arXiv:2501.08329},
year = {2025}
}