HOH：具有大物体数量的无标记多模态人-物-人交接数据集
计算机视觉与模式识别
2024-05-07 v6 机器人学
摘要
我们提出 HOH（人-物-人）交接数据集，一个包含136个物体的大物体数量数据集，旨在加速基于数据驱动的交接研究、人机交接实现，以及从人物交互的2D和3D数据进行交接参数估计的人工智能（AI）研究。HOH 包含多视角 RGB 与深度数据、骨架、融合点云、抓握类型与利手标签、物体、给予者手和接收者手的2D与3D分割、给予者与接收者舒适度评分，以及配对物体元数据和对齐的3D模型，涵盖由40名参与者组织的136个物体和20对给予者-接收者（其中40对含角色互换）的2,720次交接交互。我们还展示了使用 HOH 训练神经网络以执行抓握、朝向和轨迹预测的试验结果。作为唯一完全无标记的交接捕捉数据集，HOH 呈现自然的人-人交接交互，克服了标记数据集需特定着装用于身体追踪且缺乏高分辨率手部追踪的难题。迄今为止，HOH 在物体数量、参与者数量、考虑角色互换的对数和总捕捉交互次数上均为最大的交接数据集。
引用
@article{arxiv.2310.00723,
title = {HOH: Markerless Multimodal Human-Object-Human Handover Dataset with Large Object Count},
author = {Noah Wiederhold and Ava Megyeri and DiMaggio Paris and Sean Banerjee and Natasha Kholgade Banerjee},
journal= {arXiv preprint arXiv:2310.00723},
year = {2024}
}
备注
NeurIPS 2023 Datasets and Benchmarks