介绍 HOT3D：用于 3D 手部和物体跟踪的镜像数据集
计算机视觉与模式识别
2024-06-17 v1
摘要
我们介绍 HOT3D，这是一个面向 3D 手部和物体跟踪的公开数据集。数据集提供了超过 833 分钟（超过 370 万张图像）的多视角 RGB/单色图像流，展示 19 名受试者与 33 件多样化刚性物体的互动，包含多模态信号如眼动或场景点云，以及全面的 ground truth 标注，包括物体、手部和摄像机的 3D 位姿，以及手部和物体的 3D 模型。除了简单的捡起/观察/放下动作，HOT3D 还包含类似厨房、办公室和客厅环境中典型动作的情景。数据集由 Meta 的两台头戴设备记录：Project Aria，这是一款轻型 AR/AI 眼镜的研究原型，以及 Quest 3，这是一款在数百万台上售出的生产级 VR 耳机。ground-truth 位姿通过专业的运动捕捉系统获得，使用小型光学标记附着在手部和物体上。手部标注以 UmeTrack 和 MANO 格式提供，物体由由内部扫描仪获取的带 PBR 材质的 3D 网格表示。我们旨在通过公开提供 HOT3D 数据集以及在 ECCV 2024 期间组织公开挑战赛，推动关于镜像手部-物体交互的研究进展。该数据集可从项目网站 https://facebookresearch.github.io/hot3d/ 下载。
引用
@article{arxiv.2406.09598,
title = {Introducing HOT3D: An Egocentric Dataset for 3D Hand and Object Tracking},
author = {Prithviraj Banerjee and Sindi Shkodrani and Pierre Moulon and Shreyas Hampali and Fan Zhang and Jade Fountain and Edward Miller and Selen Basol and Richard Newcombe and Robert Wang and Jakob Julian Engel and Tomas Hodan},
journal= {arXiv preprint arXiv:2406.09598},
year = {2024}
}