HOT3D：从 egocentric 多视角视频中的手和物体跟踪

我们介绍HOT3D，一个面向 egocentric 手和物体3D跟踪的公开数据集。该数据集包含超过833分钟（370万+图片）的记录，涵盖19名主体与33个多样化刚性物体的交互。除简单的捡取、观察和放下动作外，主体还执行厨房、办公室和客厅环境中常见的动作。记录包含多个同步数据流：egocentric 多视角RGB/单色图像、眼动信号、场景点云，以及相机、手部和物体的3D姿态。该数据集使用Meta公司的两款头盔记录：Project Aria是一款AI眼镜的研究原型，Quest 3是一款已大量出货的虚拟现实头盔。通过使用小型光学标记附着在手部和物体上，运动捕捉系统获得ground-truth姿态。手部标注提供UmeTrack和MANO格式，物体由3D网格表示，配备PBR材质，来自内部扫描仪。我们的实验表明，多视角 egocentric 数据对于3D手部跟踪、基于模型的6DoF物体姿态估计以及未知在手物体的3D升降等三项热门任务效果显著。评估的多视角方法（由HOT3D独特支持的基准测试）显著优于单视角方法。