Get a Grip：重建第一人称视频中的手 - 物稳定抓握
计算机视觉与模式识别
2024-04-09 v2
摘要
我们提出了手 - 物稳定抓握重建 (HO-SGR) 任务，即重建手稳定持握物体期间的帧。我们首先基于手与物体之间的接触区域应保持稳定的直觉，开发了稳定抓握的定义。通过分析 3D ARCTIC 数据集，我们识别了稳定抓握的持续时间，并展示了处于稳定抓握中的物体仅在单一自由度 (1-DoF) 内移动。因此，我们提出了一种方法来联合优化稳定抓握内的所有帧，将物体运动最小化为潜在的 1-DoF。最后，我们通过标注 2.4K 个稳定抓握片段，将该知识扩展到野外视频。我们提出的 EPIC-Grasps 数据集包含 9 个类别的 390 个物体实例，展示了来自 141 个环境中日常互动视频的稳定抓握。在没有 3D 真值的情况下，我们利用稳定接触区域和 2D 投影掩码来评估野外的 HO-SGR 任务。我们评估了相关方法，我们的方法在 EPIC-Grasps 和来自 ARCTIC 数据集的稳定抓握子序列上均保持了显著更高的稳定接触面积。
引用
@article{arxiv.2312.15719,
title = {Get a Grip: Reconstructing Hand-Object Stable Grasps in Egocentric Videos},
author = {Zhifan Zhu and Dima Damen},
journal= {arXiv preprint arXiv:2312.15719},
year = {2024}
}
备注
webpage: https://zhifanzhu.github.io/getagrip