ARCTIC：一个用于灵巧双手手-物操作的数据集
计算机视觉与模式识别
2023-04-25 v3
摘要
人类直观地理解无生命物体不会自行移动，其状态变化通常由人的操作引起（例如书本的打开）。机器尚不具备这种理解。这部分是因为目前不存在带有真实 3D 标注、用于研究手与铰接物体物理一致且同步运动的数据集。为此，我们提出 ARCTIC——一个包含两只手灵巧操作物体的数据集，含有 210 万视频帧，并配对准确的 3D 手部与物体网格以及详细的动态接触信息。它包含剪刀或笔记本电脑等物体的双手铰接操作，其中手部姿态与物体状态随时间联合演化。我们提出两项新颖的铰接手-物交互任务：（1）一致运动重建：给定单目视频，目标是重建双手与铰接物体为 3D 形式，使其运动在时空上一致。（2）交互场估计：必须从图像中估计密集的相对手-物距离。我们分别提出两个基线 ArcticNet 和 InterField，并在 ARCTIC 上对其做定性与定量评估。我们的代码与数据见 https://arctic.is.tue.mpg.de。
引用
@article{arxiv.2204.13662,
title = {ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation},
author = {Zicong Fan and Omid Taheri and Dimitrios Tzionas and Muhammed Kocabas and Manuel Kaufmann and Michael J. Black and Otmar Hilliges},
journal= {arXiv preprint arXiv:2204.13662},
year = {2023}
}
备注
Project page: https://arctic.is.tue.mpg.de